CN113704156B - 感知数据处理装置、板卡、系统及方法 - Google Patents

Abstract

本申请提供一种感知数据处理装置、板卡、系统及方法，该装置包括：至少一个第一硬件接口、专用控制器及至少一个硬件处理单元；专用控制器通过第一硬件接口与对应的视觉传感器连接，专用控制器与硬件处理单元连接；专用控制器，用于在接收到第一硬件接口发送的第一中断信号时，确定第一中断信号的类型，并根据第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；硬件处理单元，用于在专用控制器的控制下对感知数据进行对应的预处理操作；专用控制器，还用于在确定硬件处理单元对感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。提高了各系统的响应速度。

Description

感知数据处理装置、板卡、系统及方法

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种感知数据处理装置、板卡、系统及方法。

背景技术

随着汽车智能化，电子化的推进，自动驾驶已经成为未来汽车发展的主流趋势之一。为了确保自动驾驶车辆对周围环境的获取和识别，自动驾驶系统的感知模块需要通过各种视觉传感器获取大量的感知数据。

在视觉传感器获取大量的感知数据后，均发送给主控制器，由主控制器对感知数据进行处理，并发送给决策系统完成自动驾驶车辆的行为决策及路径规划，并生成执行指令，执行系统按照执行指令进行自动驾驶。

在主控制器每接收完视觉传感器发送的感知数据后，主控制器均会接收到中断信号，进而优先响应中断信号，对感知数据进行处理，导致主处理器会频繁被中断信号打断，不能及时进行其他任务的处理，进而导致决策系统和执行系统无法及时进行响应，无法保证自动驾驶的安全性。

发明内容

本申请实施例提供一种感知数据处理装置、板卡、系统及方法，用以解决现有技术中主处理器会频繁被中断信号打断，不能及时进行其他任务的处理，进而导致决策系统和执行系统无法及时进行响应，无法保证自动驾驶的安全性的技术问题。

第一方面，本申请实施例提供一种感知数据处理装置，包括：至少一个第一硬件接口、专用控制器及至少一个硬件处理单元；

所述专用控制器通过所述第一硬件接口与对应的视觉传感器连接，所述专用控制器与所述硬件处理单元连接；

所述专用控制器，用于在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；

所述硬件处理单元，用于在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器，还用于在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

第二方面，本申请实施例提供一种板卡，所述板卡包括如第一方面所述的感知数据处理装置。

第三方面，本申请实施例提供一种感知数据处理系统，包括至少一个视觉传感器及如第二方面所述的板卡。

第四方面，本申请实施例提供一种感知数据处理方法，所述方法应用于如第一方面所述的感知数据处理装置，所述方法包括：

专用控制器在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；

所述硬件处理单元在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

本申请实施例提供的感知数据处理装置、板卡、系统及方法，该装置包括：至少一个第一硬件接口、专用控制器及至少一个硬件处理单元；专用控制器通过第一硬件接口与对应的视觉传感器连接，专用控制器与硬件处理单元连接；专用控制器，用于在接收到第一硬件接口发送的第一中断信号时，确定第一中断信号的类型，并根据第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；硬件处理单元，用于在专用控制器的控制下对感知数据进行对应的预处理操作；专用控制器，还用于在确定硬件处理单元对感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。由于由专用控制器接收第一硬件接口发送的第一中断信号，并根据第一中断信号由对应的硬件处理单元对感知数据进行预处理操作，再完成预处理操作后，专用控制器再通知主控制器获取预处理操作后的感知数据。所以有效减少了中断信号对主控制器的中断，能够使主控制器及时进行其他任务的处理，提高了决策系统和执行系统响应速度，有效保证了自动驾驶的安全性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例中视觉传感器的感知视野分布示意图；

图2为本申请一个实施例提供的感知数据处理装置的结构示意图；

图3为本申请另一实施例提供的感知数据处理装置的结构示意图；

图4为本申请一实施例提供的板卡的结构示意图；

图5是本申请另一实施例提供的板卡的结构示意图；

图6为本申请一实施例提供的感知数据处理系统的结构示意图；

图7是示出根据本申请实施例的组合处理装置的结构图；

图8是示出根据本申请实施例的单核计算装置的内部结构示意图；

图9是示出根据本申请实施例的多核计算装置的内部结构示意图；

图10是示出根据本申请实施例的处理器核的内部结构示意图；

图11为本申请一实施例提供的感知数据处理方法的流程图；

图12为本申请一实施例提供的感知数据处理方法中的信号流向示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。

随着汽车智能化，电子化的推进，自动驾驶已经成为未来汽车发展的主流趋势之一。为了确保自动驾驶车辆对周围环境的获取和识别，自动驾驶系统的感知模块需要通过各种视觉传感器获取大量的感知数据。

这些视觉传感器主要包括：激光雷达(英文为：Lidar)、摄像头(英文为：camera)、毫米波雷达(英文为：Millimeter Wave Radar)、超声波雷达等。为了满足环境感知的需求，车载系统对视觉传感器的需求是海量的，单台车辆上，往往需要10个以上的视觉传感器。为了对各视觉传感器的视野及安装位置有一个直观的展示，采用各视觉传感器的视野表示各视觉传感器。如图1所示，单台车辆1上包括3个前视摄像头、4个侧视摄像头12及1个后视摄像头13，12个超声波传感器14及一个毫米波雷达15。其中，3个前视摄像头分别包括前视宽视野摄像头111、前视主视野摄像头112及前视窄视野摄像头113。

各种视觉传感器获取大量的感知数据后，均发送给主控制器。由主控制器对感知数据进行预处理操作，并发送给决策系统完成自动驾驶车辆的行为决策及路径规划，生成执行指令，执行系统按照执行指令进行自动驾驶。

在主控制每接收完视觉传感器发送的感知数据后，主控制器均会接收到中断信号，进而优先响应中断信号，对感知数据进行预处理操作。以摄像头为例进行说明。摄像头采集的感知数据为Raw图像。如图1所示，在单台车辆上有8个摄像头时，如表1所示，若每个摄像头的帧率为30fps，那么主控制器接收到的中断信号的数量为240个。在对接收到的Raw图像进行处理时，是由硬件处理单元将Raw图像转换为YUV图像，简称为：RAW2YUV转换。并且硬件处理单元每完成一个Raw图像的转换后，又会向主控制器发送中断信号，以便主控制器对转换后的YUV图像进行响应。所以如表1所示，主控制器又会接收到240个中断信号。所以主控制器会频繁被中断信号打断，不能及时进行其他任务的处理。导致后果是灾难性的。致使决策系统和执行系统无法及时进行响应，无法保证自动驾驶的安全性。

所以在面对现有技术的技术问题时，发明人通过创造性的研究后发现，主控制的任务众多。具体的，不仅需要接收感知数据，并控制感知数据的预处理操作，还需要通过决策系统完成自动驾驶车辆的行为决策及路径规划，并生成执行指令。然而主控制器不仅在接收到感知数据时会被中断信号打断，而且在对应的硬件处理单元完成对感知数据的处理后，也会被中断信号打断。而对决策系统产生直接影响的只有预处理完后的感知数据。所以为了避免主控制器被中断信号频繁中断，可将接收感知数据和感知数据的预处理过程由专用控制器来控制执行。在专用控制器控制完成感知数据的预处理后，再通知主控制器获取预处理操作后的感知数据。

表1：现有技术中主控制器接收中断数量示意表

所以发明人基于上述的创造性发现，提出了本发明实施例的技术方案。下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

图2为本申请一个实施例提供的感知数据处理装置的结构示意图。如图2所示，本实施例提供的感知数据处理装置20包括：至少一个第一硬件接口21、专用控制器22及至少一个硬件处理单元23。

其中，专用控制器22通过第一硬件接口21与对应的视觉传感器连接，专用控制器22与硬件处理单元23连接。

其中，视觉传感器为多个，视觉传感器可以为以下传感器的任意一种或多种：摄像头、激光雷达、毫米波雷达、超声波雷达。

本实施例中，第一硬件接口21为视觉传感器与专用控制器22之间的硬件接口。每种或每个视觉传感器通过对应的第一硬件接口21与专用控制器22的一端连接。专用控制器22的另一端与多个硬件处理单元23连接。

其中，硬件处理单元23的个数可与对感知数据进行预处理操作的类型相关。对感知数据进行预处理操作的类型可以包括：对摄像头采集的感知数据进行RAW2YUV转换、对环视摄像头采集的感知数据进行拼接、对鱼眼摄像头采集的感知数据进行畸变校正、对前视摄像头采集的感知数据与激光雷达采集的感知数据进行融合等。

其中，每种预处理操作对应的硬件处理单元23的种类可以不同。其与对应的预处理操作适配即可。如对摄像头采集的感知数据进行RAW2YUV转换的硬件处理单元23可以为相机用图像处理器(英文全称为：Image Signal Processor，简称：ISP)。

本实施例中，专用控制器22，用于在接收到第一硬件接口21发送的第一中断信号时，确定第一中断信号的类型，并根据第一中断信号的类型确定对应的硬件处理单元23，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元23。硬件处理单元23，用于在专用控制器22的控制下对感知数据进行对应的预处理操作。专用控制器22，还用于在确定硬件处理单元23对感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

其中，第一中断信号为第一硬件接口21向专用控制器22发送的中断信号。第一中断信号的类型包括来自于第一硬件接口21的中断信号，以及与对应第一硬件接口21连接的视觉传感器的标识及类型。

具体地，专用控制器22通过每个第一硬件接口21接收对应的视觉传感器发送的每帧感知数据。第一硬件接口21对每帧感知数据接收过程中，识别该帧感知数据是否接收完成，若确定该帧感知数据接收完成，则向专用控制器22发送第一中断信号。专用控制器22解析第一中断信号的类型，根据第一中断信号的类型确定预处理操作的类型，进而确定出对应的硬件处理单元23，将接收到的感知数据发送给对应的硬件处理单元23进行对应的预处理操作。专用控制器22可监测每个硬件处理单元23对对应的感知数据是否预处理操作结束，若确定预处理操作结束，则通知主控制器获取预处理操作后的感知数据。

本实施例提供的感知数据处理装置，包括：至少一个第一硬件接口21、专用控制器22及至少一个硬件处理单元23；专用控制器22通过第一硬件接口21与对应的视觉传感器连接，专用控制器22与硬件处理单元23连接；专用控制器22，用于在接收到第一硬件接口21发送的第一中断信号时，确定第一中断信号的类型，并根据第一中断信号的类型确定对应的硬件处理单元23，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元23；硬件处理单元23，用于在专用控制器22的控制下对感知数据进行对应的预处理操作；专用控制器22，还用于在确定硬件处理单元23对感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。由于由专用控制器22接收第一硬件接口21发送的第一中断信号，并根据第一中断信号由对应的硬件处理单元23对感知数据进行预处理操作，再完成预处理操作后，专用控制器22再通知主控制器获取预处理操作后的感知数据。所以有效减少了中断信号对主控制器的中断，能够使主控制器及时进行其他任务的处理，提高了决策系统和执行系统响应速度，有效保证了自动驾驶的安全性。

图3为本申请另一实施例提供的感知数据处理装置的结构示意图，如图3所示，本实施例提供的感知数据处理装置20还包括：至少一个第二硬件接口24和存储单元25。

其中，专用控制器22通过第二硬件接口24与对应的硬件处理单元23连接，所存储单元25分别与专用控制器22及硬件处理单元23连接。

其中，存储单元25还与主控制器连接。

本实施例中，第二硬件接口24为专用控制器22与硬件处理单元23连接的硬件接口。第二硬件接口24的数量与硬件处理单元23的数量相同。

本实施例中，硬件处理单元23，还用于将预处理操作后的感知数据存储到存储单元25中，并通过第二硬件接口24向专用控制器22发送第二中断信号。专用控制器22，具体用于获取预处理操作后的感知数据对应的存储地址，并根据存储地址生成第三中断信号，向主控制器发送第三中断信号，以通知主控制器根据存储地址获取预处理操作后的感知数据。

其中，第二中断信号为通过第二硬件接口24发送给专用控制器22的中断信号。第三中断信号为专用控制器22发送给主控制器的中断信号。

具体地，硬件处理单元23在获取到感知数据后，按照第一中断信号的类型对感知数据进行对应的预处理操作，并每次进行完预处理操作后，将预处理操作后的感知数据存储到存储单元。在确定预处理操作后的感知数据存储到存储单元中的存储地址后，可在第二中断信号中包括存储地址，并将第二中断信号发送给专用控制器22。专用控制器22对第二中断信号进行解析，获取到预处理操作后的感知数据对应的存储地址。将存储地址携带在第三中断信号中，向主控制器发送第三中断信号。主控制器对第三中断信号进行解析，获取到预处理操作后的感知数据的存储地址，进而根据存储地址从存储单元中获取到预处理操作后的感知数据。

需要说明的是，主控制器不再接收感知数据，也不再接收每帧感知数据接收完后的中断信号，只接收第三中断信号，所以可有效减少主控制器接收中断信号的数量。与表1对应的，本实施例提供的感知数据处理装置执行完感知数据处理方法后主控制器接收到的中断信号的数量可表示为表2所示。

表2：本申请实施例主控制器接收中断数量示意表

可以理解的是，若预处理操作为感知数据的拼接操作或融合操作等多个感知数据形成一个预处理操作后的感知数据的操作，主控制器不仅无需在每次接收到感知数据后均接收到中断信号，还可以在拼接操作或融合操作后，只接收到一个第三中断信号，所以可进一步减少主控制器接收第三中断信号的数量。

本实施例中，存储单元作为专用控制器22和主控制器之间的共享存储器，通过获取预处理操作后的感知数据的存储地址的方式，从存储单元中来获取预处理操作后的感知数据。使专用控制器22与主控制器之间无需数据拷贝，减少了专用控制器22和主控制器之间的数据读写，减少了专用控制器22和主控制器之间的带宽。

可选地，本实施例中，专用控制器22，具体用于通过IPC协议或RPMSG协议向主控制器发送第三中断信号。

具体地，采用IPC协议或RPMSG协议发送第三中断信号时，在第三中断信号中携带预处理操作后的感知数据对应的存储地址。主控制器依据IPC协议或RPMSG协议对第三中断信号进行解析，获取到预处理操作后的感知数据对应的存储地址，进而从存储单元中获取到预处理操作后的感知数据。并将预处理后的感知数据发送给决策系统，以使决策系统根据预处理操作后的感知数据完成自动驾驶车辆的行为决策及路径规划。

在自动驾驶系统中，从感知到决策到执行，需要有非常低的时延，即具有很高的实时性要求。所以现有技术中主控制器还负责对相关联的多个视觉传感器进行同步控制。这使得主控制器更不能及时进行其他任务的处理，导致决策系统和执行系统无法及时进行响应。

所以可选地，本实施例中，专用控制器22，还用于向相关联的多个视觉传感器发送同步信号，以使相关联的多个视觉传感器根据同步信号同时采集对应的感知数据。

其中，相关联的视觉传感器为需要进行同步采集感知数据的视觉传感器。例如为多个摄像头。由于在进行预处理操作时，需要保证感知数据是同步采集的数据，所以相关联的视觉传感器还可以为多个环视摄像头，以进行对应感知数据的拼接操作。还可以为前视摄像头和激光雷达，以进行感知数据的融合操作。

可以理解的是，相关联的视觉传感器可以分为多组。针对每组相关联的视觉传感器，专用控制器22可设定对应的发送同步信号的周期，按照设定的周期向同一组相关联的视觉传感器发送同步信号。相关联的视觉传感器每次接收到同步信号后，同时采集对应的感知数据。能够使感知数据具有同步性，为后续决策系统更准确地进行行为决策及路径规划。

本实施例提供的感知数据处理装置，专用控制器22，还用于向相关联的多个视觉传感器发送同步信号，以使相关联的多个视觉传感器根据同步信号同时采集对应的感知数据。能够由专用控制器22进行相关联视觉传感器的采集同步，进一步减少主控制器对视觉传感器的控制，使主控制器更加及时进行其他任务的处理，提高决策系统和执行系统的响应速度。

在自动驾驶系统中，主控制器还需要实时根据环境变化完成对视觉传感器的采集参数的更新，这对主控制器的实时性提出了更高的要求。所以为了进一步提高主控制器的实时性，本实施例中，由专用控制器22对视觉传感器的采集参数进行控制。

可选地，专用控制器22，还用于判断各视觉传感器是否满足采集参数更新条件；若确定某视觉传感器满足采集参数更新条件，则向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

其中，不同种类的视觉传感器对应的采集参数不同，对应的采集参数更新条件也会不同。

可选地，视觉传感器包括摄像头；相应地，采集参数为曝光参数。

专用控制器22，具体用于监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

具体地，本实施例中，专用控制器22可周期性的计算各摄像头采集的感知数据的亮度值，若某摄像头采集的感知数据的亮度值不在预设亮度范围内，则说明该摄像头所处的环境发生了比较大的变化，满足了亮度调整条件，进而该摄像头满足曝光参数更新条件。为了对采集到的感知数据的亮度进行调整，专用控制器22向该摄像头发送曝光参数更新信号。该摄像头根据曝光参数更新信号对曝光参数进行更新，使后续采集的感知数据的亮度在预设亮度范围内。

本实施例提供的感知数据处理装置，专用控制器22，还用于判断各视觉传感器是否满足采集参数更新条件；若确定某视觉传感器满足采集参数更新条件，则向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。专用控制器22代替主控制器来控制视觉传感器对采集参数进行更新，能够进一步提高主控制器的实时性，进一步提高了决策系统和执行系统的响应速度。

图4为本申请一实施例提供的板卡的结构示意图，如图4所示，本实施例提供的板卡30包括主控制器31及如上任意一个实施例提供的感知数据处理装置20。

其中，主控制器31与感知数据处理装置20中的专用控制器22连接。在板卡30中感知数据处理装置20的结构和功能与上述任意一个实施例提供的感知数据处理装置20的结构和功能相同，在此不再一一赘述。

在一种可能的实现方式中，还公开了另一种板卡，图5是示出根据本申请实施例的板卡的结构图。如图5所示，板卡400包括芯片401，其是一种系统级人工智能芯片(Systemon Chip，SoC)，或称片上系统，集成有一个或多个组合处理装置，组合处理装置是一种人工智能运算单元，用以支持各类深度学习和机器学习算法，满足计算机视觉、语音、自然语言处理、数据挖掘等领域复杂场景下的智能处理需求。特别是深度学习技术大量应用在云端智能领域，云端智能应用的一个显著特点是输入数据量大，对平台的存储能力和计算能力有很高的要求，此实施例的板卡400适用在云端智能应用，具有庞大的片外存储、片上存储和大量的计算能力。

芯片401通过对外接口装置402与外部设备403相连接。外部设备403例如是服务器、计算机、摄像头、显示器、鼠标、键盘、网卡或wifi接口等。可选地，本申请实施例中为各种视觉传感器。待处理的数据可以由外部设备403通过对外接口装置402传递至芯片401。芯片401的计算结果可以经由对外接口装置402传送回外部设备403。根据不同的应用场景，对外接口装置402可以具有不同的接口形式，例如PCIe接口等。

板卡400还包括用于存储数据的存储器件404，其包括一个或多个存储单元405。存储器件404通过总线与控制器件406和人工智能芯片401进行连接和数据传输。板卡400中的控制器件406配置用于对人工智能芯片401的状态进行调控。为此，在一个应用场景中，控制器件406可以包括单片机(Micro Controller Unit，MCU)。

本申请实施例中，待处理的数据为感知数据，外接接口装置402为第一硬件接口。芯片为硬件处理单元。控制器件406包括专用控制器和主控制器。

图6为本申请一实施例提供的感知数据处理系统的结构示意图，如图6所示，本实施例提供的感知数据处理系统50包括：至少一个视觉传感器及如上述任意一个实施例提供的板卡40。

其中，至少一个视觉传感器通过板卡的第一硬件接口与板卡40连接。

可选地，视觉传感器包括摄像头51，相应地，感知数据处理系统还包括：解串器53及与摄像头数量相同的串行器52。

其中，各摄像头51依次通过对应的串行器52和解串器53与专用控制器对应的第一硬件接口连接。

其中，串行器52与解串器53之间通过串行总线连接。

本实施例中，由于摄像头51与专用控制器的距离较远，所以在每个摄像头51和专用控制器之间连接有串行器52和解串器53。串行器52用于将对应摄像头51采集的感知数据发送给解串器53。解串器53，用于对各摄像头51采集的感知数据进行拼接并发送给专用控制器。专用控制器，还用于对各摄像头51采集的感知数据进行解析分离，并进行存储。

可以理解的是，在串行器52将对应摄像头51采集的感知数据发送给解串器53时，在感知数据中携带摄像头51的标识信息，以使解串器53在将各摄像头51采集的感知数据进行拼接发送给解串器53后，解串器53能够根据摄像头51的标识信息将各感知数据进行解析分离。

需要说明的是，若专用控制器向摄像头51发送同步信号或采集参数更新信号，则依次通过解串器53和串行器52发送给对应的摄像头51。

可选地，本实施例中，解串器53与专用控制器对应的第一硬件接口之间通过串行接口CSI连接。

具体地，本实施例中，在摄像头51与专用控制器的距离较远的情况下，每个摄像头51和专用控制器之间连接有串行器52和解串器53，并在解串器53与第一硬件接口之间采用串行接口(简称：CSI)连接。则能够通过串行接口实现每个摄像头51与专用控制器之间的通信，满足摄像头51与专用控制器之间通信的距离要求。

在一种可能的实现方式中，还提供了一种组合处理装置，图7是示出此实施例的芯片401中的组合处理装置的结构图。如图7中所示，组合处理装置60包括计算装置601、接口装置602、处理装置603和存储装置604。

计算装置601配置成执行用户指定的操作，主要实现为单核智能处理器或者多核智能处理器，用以执行深度学习或机器学习的计算，其可以通过接口装置602与处理装置603进行交互，以共同完成用户指定的操作。

接口装置602用于在计算装置601与处理装置603间传输数据和控制指令。例如，计算装置601可以经由接口装置602从处理装置603中获取输入数据，写入计算装置601片上的存储装置。进一步，计算装置601可以经由接口装置602从处理装置603中获取控制指令，写入计算装置601片上的控制缓存中。替代地或可选地，接口装置602也可以读取计算装置601的存储装置中的数据并传输给处理装置603。

处理装置603作为通用的处理装置，执行包括但不限于数据搬运、对计算装置601的开启和/或停止等基本控制。根据实现方式的不同，处理装置603可以是中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)或其他通用和/或专用处理器中的一种或多种类型的处理器，这些处理器包括但不限于数字信号处理器(digital signal processor，DSP)、专用集成电路(application specificintegrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，并且其数目可以根据实际需要来确定。如前，仅就本申请的计算装置601而言，其可以视为具有单核结构或者同构多核结构。然而，当将计算装置601和处理装置603整合共同考虑时，二者视为形成异构多核结构。

存储装置604用以存储待处理的数据，其可以是DRAM 604，为DDR内存，大小通常为16G或更大，用于保存计算装置601和/或处理装置603的数据。

图8中，是计算装置为单核的内部结构示意图。单核计算装置700用以处理计算机视觉、语音、自然语言、数据挖掘等输入数据，单核计算装置700包括三大模块：控制模块701、运算模块702及存储模块703。

控制模块701用以协调并控制运算模块702和存储模块703的工作，以完成深度学习的任务，其包括取指单元(instruction fetch unit，IFU)7011及指令译码单元(instruction decode unit，IDU)7012。取指单元7011用以获取来自处理装置的指令，指令译码单元7012则将获取的指令进行译码，并将译码结果作为控制信息发送给运算模块702和存储模块703。

运算模块702包括向量运算单元7021及矩阵运算单元7022。向量运算单元7021用以执行向量运算，可支持向量乘、加、非线性变换等复杂运算；矩阵运算单元7022负责深度学习算法的核心计算，即矩阵乘及卷积。

存储模块703用来存储或搬运相关数据，包括神经元存储单元(neuron RAM，NRAM)7031、参数存储单元(weight RAM，WRAM)7032、直接内存访问模块(direct memory access，DMA)7033。NRAM 7031用以存储输入神经元、输出神经元和计算后的中间结果；WRAM 7032则用以存储深度学习网络的卷积核，即权值；DMA 7033通过总线704连接DRAM 604，负责单核计算装置700与DRAM 604间的数据搬运。

图9中，示出了计算装置为多核的内部结构示意图。多核计算装置800采用分层结构设计，多核计算装置800作为一个片上系统，其包括至少一个集群(cluster)，每个集群又包括多个处理器核，换言之，多核计算装置800是以片上系统-集群-处理器核的层次所构成的。

以片上系统的层级来看，如图9所示，多核计算装置800包括外部存储控制器801、外设通信模块802、片上互联模块803、同步模块804以及多个集群805。

外部存储控制器801可以有多个，在图中示例性地展示2个，其用以响应处理器核发出的访问请求，访问外部存储设备，例如图12中的DRAM 604，从而自片外读取数据或是将数据写入。外设通信模块802用以通过接口装置602接收来自处理装置的控制信号，启动计算装置执行任务。片上互联模块803将外部存储控制器801、外设通信模块802及多个集群805连接起来，用以在各个模块间传输数据和控制信号。同步模块804是一种全局同步屏障控制器(global barrier controller，GBC)，用以协调各集群的工作进度，确保信息的同步。多个集群805是多核计算装置800的计算核心，在图中示例性地展示4个，随着硬件的发展，本申请的多核计算装置800还可以包括8个、16个、64个、甚至更多的集群805。集群805用以高效地执行深度学习算法。

以集群的层级来看，如图9所示，每个集群805包括多个处理器核(IPU core)806及一个存储核(MEM core)807。示例性的，每个集群805包括4个处理器核和1个存储器，存储器可以为DRAM 604。

处理器核806在图中示例性地展示4个，本申请不限制处理器核806的数量。每个处理器核806类似于图10的单核计算装置，同样包括三大模块：控制模块901、运算模块902及存储模块903。控制模块901、运算模块902及存储模块903的功用及结构大致与控制模块701、运算模块702及存储模块703相同，控制模块901包括取指单元9011和指令译码单元9012。运算模块902包括向量运算单元9021和矩阵运算单元9022。不再赘述。需特别说明的是，存储模块903包括输入/输出直接内存访问模块(input/output direct memoryaccess，IODMA)9033、搬运直接内存访问模块(move direct memory access，MVDMA)9034。IODMA 9033通过广播总线809控制NRAM 9031/WRAM 9032与DRAM 604的访存；MVDMA 9034则用以控制NRAM 9031/WRAM 9032与存储单元(SRAM)808的访存。

回到图9，存储核807主要用以存储和通信，即存储处理器核806间的共享数据或中间结果、以及执行集群805与DRAM 604之间的通信、集群805间彼此的通信、处理器核806间彼此的通信等。在其他实施例中，存储核807具有标量运算的能力，用以执行标量运算。

存储核807包括SRAM 808、广播总线809、集群直接内存访问模块(cluster directmemory access，CDMA)810及全局直接内存访问模块(global direct memory access，GDMA)811。SRAM 808承担高性能数据中转站的角色，在同一个集群805内不同处理器核806之间所复用的数据不需要通过处理器核806各自向DRAM 604获得，而是经SRAM 808在处理器核806间中转，存储核807只需要将复用的数据从SRAM 808迅速分发给多个处理器核806即可，以提高核间通讯效率，亦大大减少片上片外的输入/输出访问。

广播总线809、CDMA 810及GDMA 811则分别用来执行处理器核806间的通信、集群805间的通信和集群805与DRAM 604的数据传输。以下将分别说明。

广播总线809用以完成集群805内各处理器核806间的高速通信，此实施例的广播总线809支持核间通信方式包括单播、多播与广播。单播是指点对点(例如单一处理器核至单一处理器核)的数据传输，多播是将一份数据从SRAM 808传输到特定几个处理器核806的通信方式，而广播则是将一份数据从SRAM 808传输到所有处理器核806的通信方式，属于多播的一种特例。

CDMA 810用以控制在同一个计算装置内不同集群805间的SRAM 808的访存。

GDMA 811与外部存储控制器801协同，用以控制集群805的SRAM 808到DRAM 604的访存，或是将数据自DRAM 604读取至SRAM 808中。从前述可知，DRAM 604与NRAM 9031或WRAM 9032间的通信可以经由2个渠道来实现。第一个渠道是通过IODAM 9033直接联系DRAM604与NRAM 9031或WRAM 9032；第二个渠道是先经由GDMA 811使得数据在DRAM 604与SRAM808间传输，再经过MVDMA 9034使得数据在SRAM 808与NRAM 9031或WRAM 9032间传输。虽然表面上看来第二个渠道需要更多的元件参与，数据流较长，但实际上在部分实施例中，第二个渠道的带宽远大于第一个渠道，因此DRAM 604与NRAM 9031或WRAM 9032间的通信通过第二个渠道可能更有效率。本申请的实施例可根据本身硬件条件选择数据传输渠道。

在其他实施例中，GDMA 811的功能和IODMA 9033的功能可以整合在同一部件中。本申请为了方便描述，将GDMA 811和IODMA 9033视为不同部件，对于本领域技术人员来说，只要其实现的功能以及达到的技术效果与本申请类似，即属于本申请的保护范围。进一步地，GDMA 811的功能、IODMA 9033的功能、CDMA 810的功能、MVDMA 9034的功能亦可以由同一部件来实现。

图11为本申请一实施例提供的感知数据处理方法的流程图，如图11所示，本实施例提供的感知数据处理方法的执行主体为上述任意一个实施例提供的感知数据处理装置，则本实施例提供的感知数据处理方法包括以下步骤：

步骤1001，专用控制器在接收到第一硬件接口发送的第一中断信号时，确定第一中断信号的类型，并根据第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元。

步骤1002，硬件处理单元在专用控制器的控制下对感知数据进行对应的预处理操作。

步骤1003，专用控制器在确定硬件处理单元对感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

本实施例中，步骤1001-步骤1003的实现方式与本申请第一实施例提供的感知数据处理装置中各部件执行感知数据处理方法的实现方式类似，在此不再一一赘述。

以图12对本实施例提供的感知数据处理方法示例性说明：专用控制器22从第一硬件接口21中接收到第一中断信号，表示摄像头发送过来一帧拼接后的感知数据。根据第一中断信号的类型确定来源于第一硬件接口21的中断信号，以及与对应第一硬件接口21连接的视觉传感器为四个摄像头，所以确定出预处理操作类型为RAW2YUV转换。所以将拼接后的感知数据进行拆分，针对每个摄像头发送过来的感知数据，由对应的硬件处理单元23完成RAW2YUV转换。在硬件处理单元23对每帧感知数据进行RAW2YUV转换结束后，通知主控制器获取预处理操作后的感知数据。

可选地，本实施例中，步骤1002之后，还包括以下步骤：

步骤1002-3，硬件处理单元将预处理操作后的感知数据存储到存储单元中，并通过第二硬件接口向专用控制器发送第二中断信号。

相应地，步骤1003包括：

专用控制器在接收到硬件处理单元发送的第二中断信号后，获取预处理操作后的感知数据对应的存储地址，并根据存储地址生成第三中断信号，向主控制器发送第三中断信号，以通知主控制器根据存储地址获取预处理操作后的感知数据。

继续以图12为例进行示例行说明。硬件处理单元23通过第二硬件接口24向专用控制器22发送第二中断信号。专用控制器将带有RAW2YUV转换结束的感知数据的存储地址携带在第三中断信号中，发送给主控制器31。

可选地，本实施例提供的感知数据处理方法，在步骤1001之前，还包括以下步骤：

步骤1000，专用控制器向相关联的多个视觉传感器发送同步信号，以使相关联的多个视觉传感器根据同步信号同时采集对应的感知数据。

以图12为例进行示例性说明。在图12中，多个视觉传感器为多个摄像头51。每个摄像头51与对应的串行器52构成摄像头单元5。在图12中只显示了解串器53与一个摄像头单元5之间发送的同步信号。如图12中，专用控制器22通过解串器和串行器向各摄像头51发送同步信号，各摄像头51同时采集对应的感知数据。

可以理解的是，步骤1000是一个周期性执行的步骤。每次执行均在步骤1001之前执行。

可选地，本实施例提供的感知数据处理方法中，感知数据中包括采集时间戳信息。

本实施例中，在感知数据中包括时间戳信息，能够使决策系统获取预处理操作后的感知数据的采集时间，进而准确有效地进行行为决策及路径规划。

可选地，本实施例提供的感知数据处理方法，还包括以下步骤：

步骤1101，专用控制器判断各视觉传感器是否满足采集参数更新条件，若确定某视觉传感器满足采集参数更新条件，则专用控制器向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

作为一种可选实施方式，视觉传感器包括摄像头；采集参数为曝光参数。

相应地，步骤1101，具体为：

专用控制器监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

如图12所示，专用控制器确定摄像头满足曝光参数更新条件后，向摄像头51发送更新信号，更新信号通过解串器53和串行器52后发送给摄像头51。

本实施例提供的感知数据处理方法的实现方式与感知数据处理装置中各部件执行感知数据处理方法的实现方式类似，在此不再一一赘述。

依据以下条款可更好地理解前述内容(The foregoing may be betterunderstood in view of the following clauses)：

条款1、一种感知数据处理装置，包括：至少一个第一硬件接口、专用控制器及至少一个硬件处理单元；

所述专用控制器通过所述第一硬件接口与对应的视觉传感器连接，所述专用控制器与所述硬件处理单元连接；

所述专用控制器，用于在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；

所述硬件处理单元，用于在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器，还用于在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

条款2、根据条款1所述的装置，还包括：至少一个第二硬件接口和存储单元；

所述专用控制器通过所述第二硬件接口与对应的硬件处理单元连接，所所述存储单元分别与所述专用控制器及所述硬件处理单元连接；

所述硬件处理单元，还用于将预处理操作后的感知数据存储到存储单元中，并通过第二硬件接口向专用控制器发送第二中断信号；

所述专用控制器，具体用于获取预处理操作后的感知数据对应的存储地址，并根据所述存储地址生成第三中断信号，向所述主控制器发送第三中断信号，以通知所述主控制器根据所述存储地址获取所述预处理操作后的感知数据。

条款3、根据条款1或2所述的装置，所述专用控制器，还用于向相关联的多个视觉传感器发送同步信号，以使所述相关联的多个视觉传感器根据所述同步信号同时采集对应的感知数据。

条款4、根据条款1或2所述的装置，所述专用控制器，还用于判断各所述视觉传感器是否满足采集参数更新条件；若确定某视觉传感器满足采集参数更新条件，则向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

条款5、根据条款4所述的装置，所述视觉传感器包括摄像头；所述采集参数为曝光参数；

所述专用控制器，具体用于监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

条款6、一种板卡，所述板卡包括主控制器和如条款1-5任一项所述的感知数据处理装置。

条款7、一种感知数据处理系统，包括至少一个视觉传感器及如条款6所述的板卡。

条款8、根据条款7所述的系统，所述视觉传感器包括摄像头，所述系统还包括：解串器及与摄像头数量相同的串行器；

各所述摄像头依次通过对应的串行器和解串器与专用控制器对应的第一硬件接口连接；

所述串行器，用于将对应摄像头采集的感知数据发送给解串器；

所述解串器，用于对各所述摄像头采集的感知数据进行拼接并发送给专用控制器；

所述专用控制器，还用于对各所述摄像头采集的感知数据进行解析分离，并进行存储。

条款9、根据条款8所述的系统，所述解串器与所述专用控制器对应的第一硬件接口之间通过串行接口CSI连接。

条款10、一种感知数据处理方法，所述方法应用于如条款1-5任一项所述的感知数据处理装置，所述方法包括：

专用控制器在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；

所述硬件处理单元在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

条款11、根据条款10所述的方法，所述硬件处理单元在专用控制器的控制下对所述感知数据进行对应的预处理操作之后，还包括：

所述硬件处理单元将预处理操作后的感知数据存储到存储单元中，并通过第二硬件接口向专用控制器发送第二中断信号；

所述专用控制器在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据，包括：

所述专用控制器在接收到硬件处理单元发送的第二中断信号后，获取预处理操作后的感知数据对应的存储地址，并根据所述存储地址生成第三中断信号，向所述主控制器发送第三中断信号，以通知所述主控制器根据所述存储地址获取所述预处理操作后的感知数据。

条款12、根据条款10或11所述的方法，还包括：

所述专用控制器向相关联的多个视觉传感器发送同步信号，以使所述相关联的多个视觉传感器根据所述同步信号同时采集对应的感知数据。

条款13、根据条款12所述的方法，所述感知数据中包括采集时间戳信息。

条款14、根据条款10或11所述的方法，还包括：

所述专用控制器判断各所述视觉传感器是否满足采集参数更新条件，若确定某视觉传感器满足采集参数更新条件，则所述专用控制器向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

条款15、根据条款14所述的方法，所述视觉传感器包括摄像头；所述采集参数为曝光参数；

所述专用控制器判断各所述视觉传感器是否满足采集参数更新条件，若确定某视觉传感器满足采集参数更新条件，则所述专用控制器向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新，包括：

所述专用控制器监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

进一步需要说明的是，虽然流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

应该理解，上述的装置实施例仅是示意性的，本申请的装置还可通过其它的方式实现。例如，上述实施例中单元/模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如，多个单元、模块或组件可以结合，或者可以集成到另一个系统，或一些特征可以忽略或不执行。

另外，若无特别说明，在本申请各个实施例中的各功能单元/模块可以集成在一个单元/模块中，也可以是各个单元/模块单独物理存在，也可以两个或两个以上单元/模块集成在一起。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

集成的单元/模块如果以硬件的形式实现时，该硬件可以是数字电路，模拟电路等等。硬件结构的物理实现包括但不局限于晶体管，忆阻器等等。若无特别说明，人工智能处理器可以是任何适当的硬件处理器，比如CPU、GPU、FPGA、DSP和ASIC等等。若无特别说明，存储单元可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器RRAM(Resistive Random Access Memory)、动态随机存取存储器DRAM(Dynamic Random AccessMemory)、静态随机存取存储器SRAM(Static Random-Access Memory)、增强动态随机存取存储器EDRAM(Enhanced Dynamic Random Access Memory)、高带宽内存HBM(High-Bandwidth Memory)、混合存储立方HMC(Hybrid Memory Cube)等等。

集成的单元/模块如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (15)

1.一种感知数据处理装置，其特征在于，包括：至少一个第一硬件接口、专用控制器及至少一个硬件处理单元；

所述专用控制器通过所述第一硬件接口与对应的视觉传感器连接，所述专用控制器与所述硬件处理单元连接；

所述专用控制器，用于在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；所述第一中断信号的类型包括来自所述第一硬件接口的中断信号，以及与对应所述第一硬件接口连接的所述视觉传感器的标识及类型；

所述硬件处理单元，用于在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器，还用于在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

2.根据权利要求1所述的装置，其特征在于，还包括：至少一个第二硬件接口和存储单元；

所述专用控制器通过所述第二硬件接口与对应的硬件处理单元连接，所述存储单元分别与所述专用控制器及所述硬件处理单元连接；

所述硬件处理单元，还用于将预处理操作后的感知数据存储到存储单元中，并通过第二硬件接口向专用控制器发送第二中断信号；

所述专用控制器，具体用于获取预处理操作后的感知数据对应的存储地址，并根据所述存储地址生成第三中断信号，向所述主控制器发送第三中断信号，以通知所述主控制器根据所述存储地址获取所述预处理操作后的感知数据。

3.根据权利要求1或2所述的装置，其特征在于，所述专用控制器，还用于向相关联的多个视觉传感器发送同步信号，以使所述相关联的多个视觉传感器根据所述同步信号同时采集对应的感知数据。

4.根据权利要求1或2所述的装置，其特征在于，所述专用控制器，还用于判断各所述视觉传感器是否满足采集参数更新条件；若确定某视觉传感器满足采集参数更新条件，则向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

5.根据权利要求4所述的装置，其特征在于，所述视觉传感器包括摄像头；所述采集参数为曝光参数；

所述专用控制器，具体用于监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

6.一种板卡，其特征在于，所述板卡包括主控制器和如权利要求1-5任一项所述的感知数据处理装置。

7.一种感知数据处理系统，其特征在于，包括至少一个视觉传感器及如权利要求6所述的板卡。

8.根据权利要求7所述的系统，其特征在于，所述视觉传感器包括摄像头，所述系统还包括：解串器及与摄像头数量相同的串行器；

各所述摄像头依次通过对应的串行器和解串器与专用控制器对应的第一硬件接口连接；

所述串行器，用于将对应摄像头采集的感知数据发送给解串器；

所述解串器，用于对各所述摄像头采集的感知数据进行拼接并发送给专用控制器；

所述专用控制器，还用于对各所述摄像头采集的感知数据进行解析分离，并进行存储。

9.根据权利要求8所述的系统，其特征在于，所述解串器与所述专用控制器对应的第一硬件接口之间通过串行接口CSI连接。

10.一种感知数据处理方法，其特征在于，所述方法应用于如权利要求1-5任一项所述的感知数据处理装置，所述方法包括：

专用控制器在接收到第一硬件接口发送的第一中断信号时，确定所述第一中断信号的类型，并根据所述第一中断信号的类型确定对应的硬件处理单元，将从视觉传感器接收到的感知数据发送给对应的硬件处理单元；所述第一中断信号的类型包括来自所述第一硬件接口的中断信号，以及与对应所述第一硬件接口连接的所述视觉传感器的标识及类型；

所述硬件处理单元在专用控制器的控制下对所述感知数据进行对应的预处理操作；

所述专用控制器在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据。

11.根据权利要求10所述的方法，其特征在于，所述硬件处理单元在专用控制器的控制下对所述感知数据进行对应的预处理操作之后，还包括：

所述硬件处理单元将预处理操作后的感知数据存储到存储单元中，并通过第二硬件接口向专用控制器发送第二中断信号；

所述专用控制器在确定所述硬件处理单元对所述感知数据进行对应的预处理操作结束后，通知主控制器获取预处理操作后的感知数据，包括：

所述专用控制器在接收到硬件处理单元发送的第二中断信号后，获取预处理操作后的感知数据对应的存储地址，并根据所述存储地址生成第三中断信号，向所述主控制器发送第三中断信号，以通知所述主控制器根据所述存储地址获取所述预处理操作后的感知数据。

12.根据权利要求10或11所述的方法，其特征在于，还包括：

所述专用控制器向相关联的多个视觉传感器发送同步信号，以使所述相关联的多个视觉传感器根据所述同步信号同时采集对应的感知数据。

13.根据权利要求12所述的方法，其特征在于，所述感知数据中包括采集时间戳信息。

14.根据权利要求10或11所述的方法，其特征在于，还包括：

所述专用控制器判断各所述视觉传感器是否满足采集参数更新条件，若确定某视觉传感器满足采集参数更新条件，则所述专用控制器向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新。

15.根据权利要求14所述的方法，其特征在于，所述视觉传感器包括摄像头；所述采集参数为曝光参数；

所述专用控制器判断各所述视觉传感器是否满足采集参数更新条件，若确定某视觉传感器满足采集参数更新条件，则所述专用控制器向该视觉传感器发送采集参数更新信号，以使该视觉传感器对采集参数进行更新，包括：

所述专用控制器监测各摄像头采集的感知数据是否满足亮度调整条件，若确定满足亮度调整条件，则确定该摄像头满足曝光参数更新条件，向该摄像头发送曝光参数更新信号，以使该摄像头对曝光参数进行更新。

Images