CN114915731A - 处理图像传感器图像数据的方法和装置 - Google Patents

Abstract

本申请涉及一种处理图像传感器图像数据的方法和装置。在该方法包括：接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；对所述第一图像数据进行图像处理得到第二图像数据；以及输出所述第二图像数据。本申请处理图像传感器图像数据的方法和装置能够提前图像传感器生成的图像数据的处理流程，从而降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延。本申请处理图像传感器图像数据的方法和装置尤其适用于智能网联车的高级驾驶辅助系统(ADAS)、机器人系统等。

Description

处理图像传感器图像数据的方法和装置

技术领域

本申请涉及智能网联车领域，尤其涉及一种处理图像传感器图像数据的方法和装置。

背景技术

感知识别在智能网联车的高级驾驶辅助系统(Advanced Driving AssistanceSystem,ADAS)和自主驾驶系统(Autonomous Driving)中起重要作用。为了实现感知识别功能，智能网联车搭载多种图像传感器。用于智能感知识别的车载图像传感器的常见例子为摄像机(camera)、激光雷达(Light Detection and Ranging,LiDAR)、毫米波雷达(millimeter wave)等，它们获得的“图像数据”信息量丰富，因此智能网联车可以通过这些图像数据实现识别功能。

在智能网联车中，图像数据从图像传感器到达高级驾驶辅助系统或自主驾驶系统，经过图像处理、算法识别、驾驶决策等步骤后，最终转变为对车辆各个执行器的操作控制指令，实现对驾驶的控制。在这个过程中，出于安全角度考虑，降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延，是高级驾驶辅助系统和自主驾驶系统不断追求的目标。

车载传感器图像传感器中具有许多感知方式为“扫描式”的图像传感器，例如激光雷达和摄像机。这种扫描式图像传感器不是在采集区域中同时生成一帧图像的所有图像数据，而是例如以按行或按列扫描的方式，在一段时间内依次生成一帧图像的所有图像数据。目前，车载的图像信号处理器(Image Signal Processor,ISP)以及后续的算法平台在等待接收完一帧图像的所有图像数据后，对该帧图像进行处理。这种处理方式对端到端时延有很大影响。

发明内容

有鉴于此，本申请提供处理图像传感器图像数据的方法和装置，其能够降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延。

第一方面，提供一种处理图像传感器图像数据的方法，该方法包括以下步骤：接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；对所述第一图像数据进行图像处理得到第二图像数据；以及输出所述第二图像数据。

通过一边接收图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，一边对已接收的第一图像数据进行图像处理，能够提前对图像传感器生成的第一图像数据的图像处理流程，从而降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延。换句话说，当接收到扫描采集区域所能够生成的一帧图像的一部分第一图像数据时，就可以对该部分第一图像数据执行图像处理，而不必等待接收到整帧的图像的所有第一图像数据时才开始图像数据的图像处理流程。

在一种可能的实现方式中，所述图像传感器是摄像机，所述图像是二维平面图像。

摄像机的采集区域通常被称为靶面。摄像机的帧率一般为30Hz(Hertz,赫兹)。换句话说，摄像机从靶面的第一行曝光到靶面的最后一行以形成一帧图像的时长为33ms(milisecond，毫秒)。通常需要等待整帧图像的所有第一图像数据生成并传输完成后，才对接收到的整帧图像的图像数据执行处理。即从摄像机开始扫描靶面后，至少需要等待33ms才能处理由此生成的第一图像数据。然而，通过本申请的处理图像数据的方法，可以例如在接收了一帧图像的第一个第一图像数据后，就立即对该第一图像数据执行处理，而不必等到接收整帧图像的所有第一图像数据。这能够将平面图像的第一图像数据的图像处理流程提前，节省每帧平面图像的第一图像数据的处理时长，从而降低从摄像机生成第一图像数据到车辆执行器执行操作的端到端时延。

在一种可能的实现方式中，所述图像传感器是激光雷达，所述图像是三维点云。激光雷达的采集区域通常被称为扫描区域。

激光雷达的帧率一般为10Hz或20Hz。也就是说，激光雷达从扫描区域的第一列扫描到扫描区域的最后一列，从而形成一帧点云的第一图像数据的时长通常为100ms或50ms。与处理平面图像的图像数据类似地，通常需要等待整帧点云的第一图像数据生成并传输完成后，才对接收到的整帧点云的第一图像数据执行处理。然而，通过本申请的处理图像数据的方法，可以例如在接收了一帧点云的第一个第一图像数据后，就可以立即对该第一图像数据执行处理，而不必等到接收整帧点云的所有第一图像数据。这能够将点云的第一图像数据的图像处理流程提前，节省每帧点云的第一图像数据的处理时长，从而降低从激光雷达生成第一图像数据到车辆执行器执行操作的端到端时延。

结合第一方面，在一种可能的实现方式中，所述采集区域包括多个子采集区域；所述对所述第一图像数据进行图像处理包括：当接收到第一数据组A所包含的第一图像数据后，以第一图像数据组A所包含的全部第一图像数据为单位进行图像处理，所述第一图像数据组A是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

通过以采集区域的各子采集区域限定各第一图像数据组的方式，提前对一帧图像的多个第一图像数据进行梳理。当接收到第一数据组A所包含的第一图像数据后，以第一图像数据组A所包含的全部第一图像数据为单位进行图像处理，即通过以第一图像数据组作为单位进行图像处理，可以在提前第一图像数据的图像处理流程的同时，避免过分增加后续处理的复杂性和由此导致的后续处理时间的增加。此外，通过子采集区域限定各第一图像数据组，能够适用于不同分辨率的图像传感器。

结合第一方面，在一种可能的实现方式中，所述多个子采集区域的大小和数量为预先设定。

在一种可能的实现方式中，子采集区域的数量选自2至4。

在一种可能的实现方式中，各个子采集区域的大小相等。

结合第一方面，在一种可能的实现方式中，所述方法还包括以下步骤：接收划分策略，以及根据所述划分策略预先设定所述多个子采集区域的大小和数量。

通过接收划分策略来预先设定多个子采集区域的大小和数量，可以根据应用场景的实际需求灵活调整多个第一图像数据的图像处理的过程，从而使得本申请的处理图像传感器图像数据的方法适配各种应用场景。

结合第一方面，在一种可能的实现方式中，所述子采集区域为矩形，所述子采集区域的大小由矩形的四个角的坐标限定。

通过所述子采集区域的四个角的坐标限定所述子采集区域的大小，能够以尤其简单和直观的方式灵活划分各个子采集区域。

第二方面，提供一种处理图像传感器图像数据的方法，该方法包括以下步骤：依次接收第二图像数据，所述第二图像数据是对第一图像数据进行图像处理得到的，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；依次从所述第二图像数据提取特征数据；对各个特征数据进行融合识别处理；以及输出图像识别结果。

通过一边接收第二图像数据期间，一边依次从已接收的第二图像数据提取特征数据，能够提前第二图像数据的图像识别流程，从而降低从图像传感器生成第一图像数据到车辆执行器执行操作的端到端时延。换句话说，当接收到一帧图像的一部分第二图像数据时，就可以对该帧图像的该部分第二图像数据执行作为识别算法处理过程一部分的提取特征数据，而不必等到接收到整帧图像的所有第二图像数据时才开始进行特征提取。

此外，通过将传统的识别算法处理过程区分为特征提取过程和融合识别过程，例如在特征提取过程中分别提取源自采集区域不同部分的第二图像数据的特征数据，而在融合识别中融合识别从所有第二图像数据提取的各特征数据，能够保证融合识别的图像识别结果的稳定性和准确性。

结合第二方面，在一种可能的实现方式中，所述图像传感器是摄像机，所述图像是二维平面图像。结合第二方面，在一种可能的实现方式中，所述图像传感器是激光雷达，所述图像是三维点云。

结合第二方面，在一种可能的实现方式中，对所述第二图像数据分组；所述各个特征数据是从各组所述第二图像数据中提取。

通过对所述第二图像数据分组，提前对一帧图像的多个第二图像数据进行梳理。通过从各组所述第二图像数据中提取所述各个特征数据，即以一组第二图像数据作为单位进行提取特征数据，可以在提前图像数据的图像识别流程的同时，避免过分增加后续处理的复杂性和由此导致的后续处理时间的增加。

结合第二方面，在一种可能的实现方式中，所述各组所述第二图像数据的第二图像数据的数量为预先设定。

结合第二方面，在一种可能的实现方式中，所述采集区域包括多个子采集区域，依据所述多个子采集区对所述第二图像数据分组，一组第二图像数据是经过图像处理的一组第一图像数据，该组第一图像是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

结合第二方面，在一种可能的实现方式中，所述方法还包括以下步骤：接收划分策略，以及根据所述接收划分策略预先设定所述多个子采集区域的大小和数量。

通过接收划分策略来预先设定多个子采集区域的大小和数量，从而调整对跌图像数据的分组，可以根据应用场景的实际需求灵活调整从多个图像数据提取特征数据的过程，从而使得本申请的处理图像传感器图像数据的方法适配各种应用场景。

结合第二方面，在一种可能的实现方式中，所述子采集区域为矩形，所述子采集区域的大小由矩形的四个角的坐标限定。

通过所述子采集区域的四个角的坐标限定所述区域的大小，能够以尤其简单和直观的方式灵活划分各个子采集区域。

结合第二方面，在一种可能的实现方式中，所述提取特征数据包括卷积处理和池化(pooling,又称汇聚)处理。

在一种可能的实现方式中，所述卷积处理和所述池化处理交替执行一次以上。在一种可能的实现方式中，卷积处理包括一或多个子卷积处理。在一种可能的实现方式中，卷积处理中子卷积处理的个数为选自1至3的自然数。

结合第二方面，在一种可能的实现方式中，所述融合识别包括特征融合处理。

通过特征融合处理，能够有效地将从源自各个采集区域的第二图像数据中提取的各特征数据融合成整帧图像的特征数据的形式。

结合第二方面，在一种可能的实现方式中，所述融合识别还包括全连接处理。

通过全连接处理，能够对整帧图像的图像数据的特征执行全局分析识别。

在一种可能的实现方式中，特征融合处理包括系列特征融合(concat)处理。在一种可能的实现方式中，全连接处理包括一次或多次子全连接处理。

第三方面，提供一种图像数据处理装置，包括：接收模块，用于接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；以及图像处理模块，用于对所述第一图像数据进行图像处理得到第二图像数据，以及用于输出所述第二图像数据。

结合第三方面，在一种可能的实现方式中，所述采集区域包括多个子采集区域；所述对所述第一图像数据进行图像处理包括：所述图像处理模块还用于当所述接收模块接收到第一数据组A所包含的第一图像数据后，以第一图像数据组A所包含的全部第一图像数据为单位进行图像处理，所述第一图像数据组A是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

结合第三方面，在一种可能的实现方式中，所述多个子采集区域的大小和数量为预先设定。

结合第三方面，在一种可能的实现方式中，所述子采集区域为矩形，所述子采集区域的大小由矩形的四个角的坐标限定。

结合第三方面，在一种可能的实现方式中，所述接收模块还用于接收划分策略，以及所述图像数据处理模块还用于根据所述划分策略预先设定所述多个子采集区域的大小和数量。

由于本申请第三方面的装置能够执行第一方面的方法，因此第三方面的装置的优点及益处类似于第一方面的优点及益处，参照第一方面的有关描述，在此不再赘述。

第四方面，提供一种图像识别装置，包括：接收模块，用于依次接收第二图像数据，所述第二图像数据是对第一图像数据进行图像处理得到的，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；特征提取模块，用于依次从所述第二图像数据提取特征数据；以及融合识别模块，用于对各个特征数据进行融合识别处理，以及用于输出图像识别结果。

结合第四方面，在一种可能的实现方式中，所述各组所述第二图像数据的第二图像数据的数量为预先设定。

结合第四方面，在一种可能的实现方式中，所述采集区域包括多个子采集区域，依据所述多个子采集区对所述第二图像数据分组，一组第二图像数据是经过图像处理的一组第一图像数据，该组第一图像是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

结合第四方面，在一种可能的实现方式中，所述多个子采集区域的大小和数量为预先设定。

结合第四方面，在一种可能的实现方式中，所述接收模块进一步用于接收划分策略，并且特征提取模块进一步用于根据划分策略预先设定所述多个子采集区域的大小和数量。

结合第四方面，在一种可能的实现方式中，所述子采集区域为矩形，所述第二子采集区域的大小由矩形的四个角的坐标限定。

结合第四方面，在一种可能的实现方式中，所述特征提取模块包括卷积层和池化层。

在一种可能的实现方式中，所述卷积层和池化层交替配置一个以上。在一种可能的实现方式中，卷积层包括一个或多个子卷积层。在一种可能的实现方式中，卷积层中子卷积层的个数为选自1至3的自然数。

结合第四方面，在一种可能的实现方式中，所述融合识别模块包括特征融合层。

结合第四方面，在一种可能的实现方式中，所述融合识别模块还包括全连接层。

在一种可能的实现方式中，特征融合处理模块包括系列特征融合(concat)层。在一种可能的实现方式中，全连接层包括一个或多个子全连接层。

结合第四方面，在一种可能的实现方式中，所述接收模块还用于接收划分策略，以及所述特征提取模块还用于根据所述划分策略预先设定所述多个第二子采集区域的大小和数量。

由于本申请第四方面的装置能够执行第二方面的方法，因此第四方面的装置的优点及益处类似于第二方面的优点及益处，参照第二方面的有关描述，在此不再赘述。

第五方面，提供一种图像传感器图像数据处理系统，包括如第三方面中的任一种图像数据处理装置和如第四方面中的任一种图像识别装置。

结合第五方面，在一种可能的实现方式中，所述图像传感器图像数据处理系统还包括划分管理模块，用于向所述图像数据处理装置和所述图像识别装置提供划分策略，所述划分策略用于预先设定所述采集区域的多个子采集区域的大小和数量。

由于第五方面的系统包括第三方面和第四方面的装置，因此第五方面的系统的优点及益处将包括第三方面和第四方面的优点及益处，参照第三方面和第四方面的有关描述，在此不再赘述。

第六方面，提供一种驾驶系统，其包括上述第五方面任一种图像传感器图像数据处理系统和驾驶决策单元；其中所述驾驶决策单元与所述图像传感器图像数据处理系统连接，用于依据所述图像传感器图像数据处理系统输出的图像识别结果执行行为决策和运动规划并输出操作指令。

通过采用第五方面的任一种图像传感器图像数据处理系统，本申请的驾驶系统能够提前处理图像数据的流程，节省处理时长，从而降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延。

在一种可能的实现方式中，所述驾驶系统是高级驾驶辅助系统。在另一种可能的实现方式中，所述驾驶系统是自主驾驶系统。

第七方面，提供一种车辆，其包括依次连接的图像传感器、上述第六方面的任一种驾驶系统、电子控制单元和执行器；其中所述图像传感器用于以扫描的方式感知车辆环境并输出第一图像数据；所述电子控制单元用于依据所述驾驶系统的操作指令控制执行器执行操作。

通过采用上述第六方面的任一种驾驶系统，本申请的车辆能够提前处理流程，节省处理时长，从而降低从图像传感器生成图像数据到车辆执行器执行操作的端到端时延。

第八方面，提供一种计算设备，其包括：至少一个处理器；以及至少一个存储器，其与所述处理连接连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行第一方面和第三方面中任一项所述的方法。

由于本申请的计算设备中的处理器可以执行上述第一方面和第二方面中任一种处理图像传感器图像数据的方法，因此该计算设备的优点及益处也类似于第一方面和第二方面的优点及益处，参照第一方面和第二方面的有关描述，在此不再赘述。

第九方面，提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令当被计算机执行时使得所述计算机执行上述第一方面和第二方面中任一种处理图像传感器图像数据的方法。

由于本申请的计算机可读存储介质可以使得计算机执行上述第一方面和第二方面中任一种处理图像传感器图像数据的方法，因此该计算机可读存储介质的优点及益处也类似于第一方面和第二方面优点及益处，参照第一方面和第二方面的有关描述，在此不再赘述。

附图说明

以下参照附图来进一步说明本申请的各个特征和各个特征之间的联系。附图均为示例性的，一些特征并不以实际比例示出，并且一些附图中可能省略了本申请所涉及领域的惯常的且对于本申请非必要的特征，或是额外示出了对于本申请非必要的特征，附图所示的各个特征的组合并不用以限制本申请。另外，在本说明书全文中，相同的附图标记所指代的内容也是相同的。具体的附图说明如下：

图1是现有技术中的图像数据处理方案的示意图；

图2是现有技术和本申请一个实施方式的图像数据处理方案的示意图，其中现有技术的方案位于上部，本申请的实施方式的方案位于下部；

图3是根据本申请一个实施方式的图像传感器图像数据处理系统的结构示意图；

图4是根据本申请一个实施方式的图像数据处理装置的结构示意图；

图5是根据本申请一个实施方式的图像识别装置的结构示意图；

图6是根据本申请一个实施方式的处理图像数据的方法的流程示意图；

图7是用本申请实施方式中的划分策略划分采集区域的示意图；

图8是图7中图像传感器采集区域的各个子采集区域的划分示意图；

图9是根据本申请一个实施方式的处理图像传感器图像数据的方法中的特征提取和融合识别过程的流程示意图；以及

图10是现有技术和本申请另一个实施方式的图像数据处理方案的示意图，其中现有技术的方案位于上部，本申请的实施方式的方案位于下部；

图11是现有技术和本申请另一个实施方式的图像数据处理方案的示意图，其中现有技术的方案位于上部，本申请的实施方式的方案位于下部；

图12是根据本申请另一个实施方式的处理图像传感器图像数据的方法的流程示意图；

图13是根据本申请一个实施方式的驾驶系统的结构示意图；

图14是根据本申请一个实施方式的车辆的结构示意图；以及

图15是本申请实施方式的一种计算设备的结构示意图。

具体实施方式

<定义>

在以下的描述中，所涉及的表示步骤的标号，如S101、S102……等，并不表示一定会按此步骤执行，在允许的情况下可以互换前后步骤的顺序，或同时执行。

说明书和权利要求书中的词语“第一、第二、第三”或“区域A、区域B、区域C”等类似用语，仅用于区别类似的对象，不指示针对对象的特定排序，可以理解地，在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实方式能够以除了在这里图示或描述的以外的顺序实施。例如，本申请中使用术语“第一图像数据”和“第二图像数据”均为图像数据，但“第二图像数据”是对“第一图像数据”进行图像处理得到的，因此使用“第一”和“第二”将这两者进行区分。

说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置A和B的设备”不应局限为仅由部件A和B组成的设备。

说明书中提到的“一个实施方式”或“实施方式”意味着与该实施方式结合描述的特定特征、结构或特性包括在本申请的至少一个实施方式中。因此，在本说明书各处出现的用语“在一个实施方式中”或“在实施方式中”并不一定都指同一实施方式，但可以指同一实施方式。此外，在一个或多个实施方式中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。

说明书中使用的词语“可选的”、“可选地”、“可选”，指的是其所修饰的特征是在一些实施方式中是可以省略的，但存在于一些替代实施方式中。

说明书和权利要求书中使用的术语“图像传感器(imaging sensor)”包括摄像机和激光雷达。图像传感器用于在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据。采集区域表示图像传感器的采集范围，摄像头的采集区域又称为靶面。激光雷达的采集区域又称为扫描区域。

说明书和权利要求书中使用的术语“图像处理(image processing)”是指用计算设备对图像进行分析处理，以达到所需结果的技术。不同种类型的图像的图像数据适用的图像处理是不同的。例如，用于二维平面图像的图像数据的图像处理可以包括但不限于黑电平补偿(black level compensation)、镜头矫正(lens shading correction)、坏像素矫正(bad pixel correction)、颜色插值(demosaic)、贝叶斯域去噪、白平衡矫正(automaticwhite balance)、色彩矫正(color correction)、Gamma校正和色彩空间转换(RGB转换为YUV)。用于三维点云的图像数据的图像处理可以包括但不限于滤波(filter)、下采样(downsample)和去离群噪声(outlier removal)。因此，本申请的方法实施方式中涉及的“图像处理”可以包括一个或多个子图像处理，本申请的装置实施方式中涉及的“图像处理模块”可以包括一个或多个子图像处理模块。

说明书和权利要求书中使用的术语“特征提取(feature extraction)”或“提取特征数据(extraction of feature data)”是指从经过图像处理后的图像数据中构建出多种含有资讯性而不冗余的特征数据的技术。不同类型的图像的图像数据适用的特征提取是不同的。例如，用于二维平面图像的图像数据的特征提取可以包括但不限于卷积(convolution)和池化(pooling)。用于三维点云的图像数据的特征提取可以包括但不限于特征向量提取。

说明书和权利要求书中使用的术语“融合识别(fusion and recognition)”是指将从图像数据中提取的所有特征数据融合为一整体后，基于该整体执行识别分析并输出图像识别结果的技术。不同种类型的图像的图像数据适用的融合识别是不同的。例如，用于二维平面图像的图像数据的融合识别可以包括但不限于特征融合(feature fusion)、全连接(fully connected)、输出(output)。用于三维点云的图像数据的融合识别可以包括但不限于特征点匹配(feature point matching)。

说明书和权利要求书中使用的术语“特征融合(feature fusion)”是将从整个采集区域的图像数据的中提取的所有特征数据融合成一体的过程。本申请涉及的特征融合是得到图像识别结果前执行的早融合(early fusion)，可以包括但不限于系列特征融合(concat)和并行融合(add)。

<技术背景>

目前，车载图像传感器中具有许多感知方式为“扫描式”的图像图像传感器。这种扫描式图像图像传感器不是在采集区域中同时生成一帧图像的所有第一图像数据，而是例如以按行或按列扫描采集区域的方式，在一段时间内依次生成一帧图像的所有第一图像数据。如图1所示，在现有的处理图像传感器图像数据的方法中，从t0时刻处开始，由图像传感器生成并传输一帧图像第一个第一图像数据，直到t1时刻处，该帧图像的最后一个第一图像数据被传输完成时，才会对整帧图像的所有第一图像数据执行图像处理。然后在t2时刻处，在对整帧图像的第一图像数据的图像处理完成时，才会开始对第二图像数据(即经过图像处理的第一图像数据)执行识别算法处理，直至t3时刻处完成整帧图像的识别算法处理。

本申请的发明人发现，这样的处理图像传感器图像数据的方法具有如下缺陷。图像处理流程必须等到图像传感器扫描整个采集区域生成所有第一图像数据并将它们传输完成时才能开始，图像识别流程也相应地必须等到所有第一图像数据被图像处理而转变为第二图像数据才能开始。这些等待时间各自拖延了图像传感器图像数据的处理流程，导致从图像传感器生成第一图像数据到车辆执行器执行操作的端到端时延较大。换句话说，由于图像处理和识别算法处理是以整帧图像的第一或第二图像数据为单位执行的，无法在一边接收该帧的第一或第二图像数据时一边对已被接收的第一或第二图像数据进行处理，这降低了处理图像传感器图像数据的速度，增加了端到端时延。

本申请的发明人发现，这样的处理图像传感器图像数据的方法具有如下缺陷。图像处理流程必须等到图像传感器扫描整个采集区域生成所有第一图像数据并将它们传输完成时才能开始，图像识别流程也相应地必须等到所有第一图像数据被图像处理而转变为第二图像数据才能开始。这些等待时间各自拖延了图像传感器图像数据的处理流程，导致从图像传感器生成第一图像数据到车辆执行器执行操作的端到端时延较大。换句话说，由于图像处理和识别算法处理是以整帧图像的第一或第二图像数据为单位执行的，无法在一边接收该帧的第一或第二图像数据时一边对已被接收的第一或第二图像数据进行处理，这降低了处理图像传感器图像数据的速度，增加了端到端时延。

<技术构思>

有鉴于此，本申请的一个实施方式提供一种处理图像传感器图像数据的方法，包括：接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；对所述第一图像数据进行图像处理得到第二图像数据；以及输出所述第二图像数据。

以下结合图2进一步说明本申请的处理图像传感器图像数据的方法的构思。为了直观起见，图2在相同的时间轴中示出了现有方案(位于图2上部)和本申请方案(位于图2下部)。

在图2下部示出的本申请的处理图像传感器图像数据的方法的实施方式中，图像传感器扫描其采集区域并依次生成多个图像数据。在图像传感器的扫描区域被预先划分为三个子采集区域A、B和C的情况下，将当接收到由扫描子采集区域A生成的所有图像数据时(即t11时刻处)，即在接收到由扫描整个采集区域生成的所有图像数据(即t1时刻处)之前，本申请的处理方法就开始执行图像处理。这将处理流程从现有技术中的t1时刻提前至本申请的t11时刻，由此使得本申请中的图像处理结束时刻相比于现有方案中的图像处理结束时刻提前了，因而最后算法处理的结束时刻也必然会提前，从而能够更快地得到图像识别结果，最终缩短端到端时延。

<实施场景>

本申请的处理图像传感器图像数据的方法可以适用于处理各种“扫描式”图像传感器生成的图像数据，并且能够应用于具有这种图像传感器的车辆、机器人等设备。

例如，在具有摄像机的运动机器人场景中，机器人利用摄像机来感知环境并根据摄像机的图像数据的图像识别结果来规划并执行相应运动。当这样的机器人应用本申请的处理图像传感器图像数据的方法，能够更加迅速地得到图像识别结果，从而更快地应对该结果做出相应运动。因此，采用本申请的处理图像传感器图像数据的方法能够使得运动机器人的动作更加敏捷。

例如，在具有激光雷达的智能网联车场景中，车辆利用激光雷达来感知路况并根据激光雷达的点云图像数据的图像识别结果来规划并执行相应自动驾驶操作。当这样的机器人应用本申请的处理图像传感器图像数据的方法，能够更加迅速地得到图像识别结果，从而更快地应对该结果做出相应驾驶操作。因此，采用本申请的处理图像传感器图像数据的方法能够使得智能网联车的自动驾驶更加安全。

此外，虽然本申请的处理图像传感器图像数据的方法是针对处理一帧图像的方案进行改进，缩短处理一帧图像的时间，从而缩短端到端时延。应当理解，本申请的处理图像传感器图像数据的方法还适用于处理包括多帧图像的视频。通过分别对视频中的各帧图像采用本申请的处理图像传感器图像数据的方法，可以缩短视频的处理时长。

<实施方式>

以下将参照图2至图9对本申请的图像传感器图像数据处理系统的一个实施方式和处理图像数据的方法的一个实施方式执行详细的说明。在图3中，用虚线框表示装置的可选模块，即该可选模块在其他一些实施方式中是可以省略的。

图3示例性地示出了根据本申请一个实施方式的图像传感器图像数据处理系统1001，包括相互连接的图像数据处理装置1100和图像识别装置1200。

图3以虚线框示出了可选的划分管理模块1300。划分管理模块1300分别与图像数据处理装置1100和图像识别装置1200连接，用于向这两者提供划分策略。划分策略可以用于预先设定图像传感器的采集区域的多个子采集区域的大小和数量。在本实施方式中，划分管理模块1300提供的划分策略能够使得采集区域被等分为3个子采集区域A、B和C。

图3还额外示出了图像传感器2000。图像传感器2000扫描采集区域依次生成构成一帧图像的多个第一图像数据，并向本申请的图像传感器图像数据传输处理系统1001中的图像数据处理装置1100依次发送多个第一图像数据。

如图4所示，图像数据处理装置1100包括相互连接的接收模块1110和图像处理模块1120。

在本实施方式中，图像数据处理装置1100的接收模块1110用于接收图像传感器2000发送的多个第一图像数据，并且还可以用于接收划分管理模块1300提供的划分策略。

在本实施方式中，由于图像处理模块1120依据接收模块1110接收到的划分策略将采集区域预先划分为3个大小相等的子采集区域A、B和C，因此接收模块1110接收到的第一图像数据可以被分为3组的第一图像数据，使得图像传感器扫描3个不同子采集区域时分别生成一组第一图像数据。图像处理模块1120由此可以进一步用于当已接收到一组第一图像数据时，对该组第一图像数据进行图像处理。

具体地，参照图2，图像处理模块1120用于在t11时刻处，当接收模块1110接收到生成自子采集区域A的所有第一图像数据时，就开始对这些图像数据执行图像处理。然后，在t12时刻处，当接收模块1110接收到生成自子采集区域B的所有第一图像数据时，图像处理模块1120就开始对这些图像数据执行图像处理。最后在t13时刻处，当接收模块1110接收到生成自子采集区域C的所有第一图像数据时，图像处理模块1120就开始对这些图像数据执行图像处理。

在本申请中，图像处理模块1120可以包括多个图像处理子模块(未示出)。类似地，图像处理可以包括多个图像子处理。在实际中，图像数据处理装置1100例如可以是图像信号处理器。

如图5所示，图像识别装置1200包括依次连接的接收模块1210、特征提取模块1220和融合识别模块1230。

在本实施方式中，图像识别装置1200的接收模块1210用于接收多个第二图像数据。多个第二图像数据是图像数据处理装置1100对多个第一图像数据进行图像处理得到的，而多个第一图像数据是图像传感器3000扫描采集区域所依次生成的。此外，接收模块1210还用于接收划分管理模块1300提供的划分策略。

在本实施方式中，特征提取模块1220用于在所述接收模块接收所述多个第二图像数据期间，依次从已接收的第二图像数据提取特征数据。由于特征提取模块1220依据接收模块1210接收到的划分策略对第二图像数据分组，即将采集区域预先划分为3个大小相等的子采集区域A、B、C，因此接收模块1210接收到的第二图像数据也可以类似地被分为3组不同的第二图像数据，使得源自于子采集区域A、B、C的各第二图像数据分别属于不同组的第二图像数据。特征提取模块1220用于当已接收到一组第二图像数据时，从该组第二图像数据组提取特征数据。

具体地，参照图2，特征提取模块1220用于在接收模块1210接收到源自于子采集区域A的一组第二图像数据时，就开始一起从该组第二图像数据中提取特征数据。换句话说，当生成自子采集区域A的所有第一图像数据经过图像处理转变为相应的各第二图像数据并被接收模块1210接收时，特征提取模块1220就开始一起从这些第二图像数据中提取特征数据。随后，特征提取模块1220以类似的方式分别对源自于子采集区域B和子采集区域C的第二图像数据执行特征提取。

在本实施方式中，融合识别模块1230用于在特征提取模块1220分别从源自与子采集区域A、B和C的所有第二图像数据提取特征数据之后，将所有特征数据先融合为整体，然后在对该整体进行识别，最后在t4时刻处输出图像识别结果。

由于特征提取模块1220和融合识别模块1230均涉及对图像的识别处理，因此在实际中，通常被设定在同一实体中，例如设定在车辆的算法平台中。

图像处理模块1120和特征提取模块1220在本实施方式中分别对生成自一子采集区域的第一图像数据或源自一子采集区域的第二图像数据进行处理，即它们的处理对象是来自于一个子采集区域的第一或第二图像数据。本实施方式的融合识别模块1230则用于将从源自于整个采集区域的第二图像数据的所有特征数据作为整体来执行融合识别，即其处理对象是源自于整个采集区域的所有第二图像数据的特征数据。

此外，特征提取模块1220可以包括一个或多个卷积层(未示出)和一个或多个池化层(未示出)。融合识别模块1230可以包括一个或多个特征融合层(未示出)、一个或多个全连接层(未示出)和输出层(未示出)。这些层也可以各自包括一个或多个子层(未示出)。将在以下对于特征提取模块1220和融合识别模块1230中各种层执行的各个步骤执行更进一步的描述，因此这些模块内的各种层的结构将在以下的相关描述中变得更加清楚。

以下结合上述参考图3至图5的描述，参考图6对本申请的处理图像传感器图像数据的方法的一个实施方式进行详细说明。

图6示例性地示出了根据本申请一个实施方式的处理图像数据的方法的流程示意图，其包括以下步骤S101至S107：

在步骤S101中，划分管理模块1300提供划分策略。具体地，该划分策略用于预先设定采集区域的子采集区域的数量为3并用于预先设定各个子采集区域的大小为彼此相等。

在步骤S102中，图像数据处理装置1100和图像识别装置1200分别接收划分策略，并分别依据划分策略预先设定采集区域的各子采集区域，从而分别对第一图像数据和第二图像数据分组。具体地，图像数据处理装置1100和图像识别装置1200的接收模块1110和图像识别装置1200的接收模块1210分别接收划分策略，相应的图像处理模块1120和特征提取模块1220分别依据划分策略将采集区域划分成第一子采集区域和第二子采集区域，并且将第一和第二子采集区域预先设定为大小彼此相等子采集区域A、B和C。换句话说，由于所采用的划分策略相同，图像数据处理装置1100的和识别装置1200的第二子采集区域均为子采集区域A、B和C。

在步骤S103中，图像数据处理装置1100接收图像传感器扫描采集区域所依次生成的多个第一图像数据。具体地，由图像数据处理装置1100的接收模块1110接收图像传感器3000扫描采集区域依次生成并依次发送的多个第一图像数据。

在步骤S104中，图像数据处理装置1100在已接收到生成自一第一子采集区域的一组第一图像数据时，对该组第一图像数据执行图像处理，输出相应的各第二图像数据。具体地，图像处理模块1120在接收模块1110接收到生成自一第一子采集区域的一组第一图像数据时，对该组第一图像数据执行图像处理，并依次输出对该组第一图像数据进行所述图像处理得到的相应的各第二图像数据。

在步骤S105中，图像识别装置1200接收图像数据处理装置1100依次输出的多个第二图像数据。具体地，由图像识别装置1200的接收模块1210接收图像数据处理装置1100依次输出的多个第二图像数据。

在步骤S106中，图像识别装置1200在已接收到源自一第二子采集区域的一组第二图像数据时，从该组第二图像数据提取特征数据。具体地，图像识别装置1200的特征提取模块1220在接收模块1210接收到源自一第二子采集区域的所有第二图像数据时，一起从这些图像数据中提取特征数据。

在步骤S107中，图像识别装置1200对从多个第二图像数据提取的特征数据进行融合识别处理，输出图像识别结果。具体地，在图像识别装置1200的特征提取模块1220分别完成从源自于子采集区域A、B和C第二图像数据提取特征数据后，图像识别装置1200的融合识别模块1230将所有特征数据融合为一体，然后对该整体进行识别，最后输出图像识别结果。

应当理解，上述步骤S101至S107并非按时间顺序排列。例如，在本实施方式中，当步骤S103中接收模块1110正在接收由子采集区域B生成的第一图像数据时，步骤S104中图像处理模块1120可以对由子采集区域A生成的第一图像数据进行图像处理。因此，步骤S103和步骤S104可以在时间上重合。类似地，步骤S105和步骤S105可以在时间上重合。此外，在本实施方式中，由于采集区域被划分为3个子采集区域，随着图像传感器按顺序扫描子采集区域A、B和C，步骤S104和步骤S106相应地重复了3次，以分别处理生成自各子采集区域的第一图像数据和源自各子采集区域的第二图像数据，如图2所示。

此外，应当理解，图像处理步骤S104和特征提取步骤S106在本实施方式中的执行对象为生成自或源自采集区域的一个子采集区的第一或第二图像数据。而融合识别步骤S107在本实施方式中的执行对象为从源自整个采集区域的第二图像数据提取的所有特征数据。

再次参考图2，可以知道，上述系统和方法实施方式相比于现有方案所实现的时延收益ΔT可以如此计算：

ΔT＝t3-t4 式(1)；

以t1时刻作为基准，式(1)可以转换为：

ΔT＝(t3-t1)-(t2-t1)/3-T0/3-T1 式(2)；

t3＝t2+T0+T1，由此转换式(2)，可得

ΔT＝2/3*(t2-t1+T0) 式(3)；

其中，t1是现有方案中对生成自整个采集区域的第一图像数据进行图像处理的开始时刻，t1也是本申请的本实施方式中对生成自子采集区域C的第一图像数据进行图像处理的开始时刻；t2是现有方案中图像处理结束、算法处理开始的时刻；t3是现有方案中算法处理结束的时刻；t4是本申请的本实施方式中融合识别结束的时刻；T₀是现有方案中属于算法处理一部分的特征提取的时长，也是本申请的本实施方式中特征处理的时长；以及T1是现有方案中属于算法处理一部分的融合识别的时长，也是本申请的本实施方式中融合识别的时长。

通过图2和式(3)可以清楚知道，本申请的本实施方式中的时延收益一方面得益于图像处理流程的提前，即在本实施方式中，在t1时刻之前已经开始对一帧图像的2/3的第一图像数据进行图像处理，从而降低端到端时延。本申请的本实施方式中的时延收益另一方面得益于图像识别流程的提前，即在本实施方式中，在t1时刻之前已经开始对该帧图像的2/3的第二图像数据进行特征提取，从而进一步降低了端到端时延。

以下参照图7-9对本申请的系统和方法实施方式中的一些模块和步骤进行更详细的说明。

图7示例性地示出了用划分管理模块1300提供的划分策略的划分图像传感器3000的采集区域的示意图。以摄像机为例，如图7所示，一帧图像是由摄像机在其靶面(在本发明中也称为采集区域)内从上到下按行曝光生成到的。根据划分管理模块1300提供的划分策略，该采集区域在从上到下的方向上被划分为3个矩形的子采集区域A、B和C，并且各个子采集区域的尺寸被设定为相等。

在图7中，图像传感器最先扫描子采集区域A并因此最先生成该子采集区域A的第一图像数据，然后最先向图像传感器图像数据处理系统1001传输生成自该子采集区域A的第一图像数据。图像传感器图像数据处理系统1001因此最先对生成自该子采集区域A的图像数据进行图像处理和特征提取，然后是对生成自子采集区域B的第一图像数据进行处理，最后是对生成自子采集区域C的第一图像数据进行处理。在此之后，还可以以相同的划分策略划分摄像机的采集区域，以用于处理后续扫描生成的第二帧图像，直至第Z帧图像，Z为大于2的任意整数。也就是说，本申请可以处理多帧图像，因此可以处理由多帧图像构成的对象，例如视频。

图8是图7中图像传感器采集区域的各个子采集区域的划分示意图。假设由图7示出的采集区域的分辨率为1920*1080。将采集区域的左上角设定为假想坐标原点，各个子采集区域A、B和C就可以容易地被矩形的左上角、左下角、右上角和右下角的各坐标限定，具体坐标参见表1和图8。

表1

	左上角的坐标	右上角的坐标	左下角的坐标	右下角的坐标
					子采集区域A	(0,0)	(1919,0)	(0,359)	(1919,359)
子采集区域B	(0,360)	(1919,360)	(0,719)	(1919,719)
					子采集区域C	(0,720)	(1919,720)	(0,1079)	(1919,1079)

这样就能够以简单灵活的方式限定采集区域的各个子采集区域，方便根据实际情况对子采集区域的数量和各个子采集区域的大小进行调整。

下面参考图9进一步描述特征提取步骤S106和融合识别步骤S107以及相关步骤执行体特征提取模块1220和融合识别模块1230的结构。

图9示例性地示出了根据本申请一个实施方式的处理图像数据的方法中的特征提取和融合识别流程示意图。涉及特征提取步骤S106和涉及融合识别步骤S107的部分分别用不同的虚线框标识。其中，conv1指示可以由特征提取模块1220的第一卷积层执行的第一卷积处理，conv2指示可以由特征提取模块的第二卷积层执行的第二卷积处理，conv3指示可以由特征提取模块的第三卷积层执行的第三卷积处理；类似地，pool1至pool3各自指示可以分别由特征提取模块1220的第一至第三池化层执行的第一至第三池化处理，fc1和fc2各自指示可以分别由融合识别模块1230的第一和第二全连接层执行的第一和第二全连接处理。concat指示可以由融合识别模块1230的系列特征融合层执行的系列特征融合处理。output指示可以由融合识别模块1230的输出层执行图像识别结果的输出。此外，在图9中，conv2_1指示可以由第一卷积层的第一子卷积层执行的第一卷积处理的第一子卷积处理，conv2_2指示可以由第一卷积层的第二子卷积层执行的第一卷积处理的第二子卷积处理。类似地，conv3_1至conv3_3各自指示可以分别由第三卷积层的第一至第三子卷积层执行的第三卷积处理的第一至第三子卷积处理。

为了便于显示，在图10中没有按时序排列步骤S106涉及的流程。具体地，在特征提取模块1220执行特征提取步骤S106时，如S106的虚线框中所示，首先从上到下执行位于左一列的子采集区域A的所述图像数据的各个卷积和池化处理，然后再从上到下地执行中间列的子采集区域B的所述图像数据的各个卷积和池化处理，最后从上到下地执行右一列的子采集区域C的所述图像数据的各个卷积和池化处理。换句话说，各子采集区域A、B和C的第二图像数据的卷积和池化不是同时进行的，而是以一子采集区域的第二图像数据为单位依次从左到右进行的。

如图10的S107虚线框所示，在融合识别模块1230执行融合识别步骤S107时，按照从上到下的顺序依次执行系列特征融合处理、第一全连接处理、第二全连接处理和图像识别结果的输出。

为了便于理解，以上详细地描述了本申请的图像传感器图像数据处理系统的一个实施方式和用于图像数据处理的方法的一个实施方式。然而，不应理解为本申请的系统和方法仅限于上述实施方式的特征组合。

在本申请其他一些实施方式中，图像数据处理装置1100以生成自一子采集区域的一组第一图像数据作为处理对象，而图像识别装置1200以源自于整个采集区域的所有第二图像数据作为处理对象。如图10下部所示，本申请该实施方式的用于图像数据处理的方法包括：在接收生成自扫描整个采集区域的多个第一图像数据期间，依次对生成自一子采集区域的一组第一图像数据执行图像处理，以输出相应的第二图像数据；在完成对生成自3个子采集区域的所有第一图像数据进行图像处理并输出所有第二图像数据时，将所有第二图像数据作为整体执行特征提取和融合识别。由此，本方案的时延收益仅为2/3的图像处理时长，即本方案仅得益于生成自子采集区域A和B的第一图像数据的图像处理的提前。

在其他一些实施方式中，各个子采集区域的大小可以被限定为彼此不相等。例如，在如图11所示的本申请另一实施方式中，子采集区域D的大小被设定为是子采集区域E的大小的1/2。

在其他一些实施方式中，图像数据处理装置或图像识别装置对接收到的第一或第二图像数据进行图像处理或特征提取的开始时刻可以不是接收到该图像数据的时刻。例如，在如图11下部所示的本申请另一实施方式中，图像数据处理装置对生成自子采集区域D的第一图像数据进行图像处理是在t16时刻，即是在接收到生成自子采集区域D的所有第一图像数据的时刻t14和在接收到子采集区域E的所有第一图像数据的时刻t15之间。如此，使得图像数据处理装置对生成自子采集区域E的所有第一图像数据进行图像处理的开始时刻是对生成自子采集区域D的所有第一图像数据进行图像处理的完成时刻。由此，本方案的时延收益仅为1/3的图像处理时长，即本方案仅得益于生成自子采集区域D的所有第一图像数据的图像处理的提前。

因此，参照图2、图10和图11，可以理解，图像数据处理装置执行图像处理和图像识别装置执行特征提取的开始时刻的设定均对本申请的时延收益产生影响。此外，对采集区域的子采集区域的数量和大小的设定也会对本申请的时延收益产生影响。

在其他一些实施方式中，采集区域的子采集区域的大小和数量可以根据预设值直接预先配置，因此，可以省略划分管理模块1300，或省略步骤S101和S102。在这种情况下，结合图10下部所示的方案，图像数据处理装置1100和图像识别装置1200根据预设值相应执行以下步骤S201-S205，如图12所示。

在步骤S201中，图像数据处理装置1101接收图像传感器扫描采集区域所依次生成的多个第一图像数据。具体地，图像数据处理装置1101的接收模块1111接收图像传感器扫描采集区域所依次生成的多个第一图像数据。

在步骤S202中，图像数据处理装置1101在已接收到一组第一图像数据时，对该组第一图像数据进行图像处理，一组第一图像数据生成自采集区域的一预设的第一子采集区域。具体地，根据预定值，图像数据处理装置1100的图像处理模块1121预先设定采集区域的各第一子采集区域A、B和C。图像数据处理装置1100的图像处理模块1121在接收模块1111接收到生成自一第一子采集区域的一组第一图像数据时，对该第一图像数据执行图像处理，并依次输出对该组第一图像数据进行所述图像处理得到的相应的各第二图像数据。

在步骤S203中，图像识别装置1201接收图像数据处理装置1101依次输出的多个第二图像数据。具体地，这些第二图像数据由图像识别装置1201的接收模块1211接收。

在步骤S204中，图像识别装置1201在接收到多个第二图像数据时，从多个第二图像数据中提取特征数据。具体地，图像识别装置1201的特征提取模块1221在接收模块1211接收到源自于整个采集区域的多个第二图像数据时，一起从多个第二图像数据中提取特征数据。

在步骤S205中，图像识别装置1201对从多个第二图像数据提取的特征数据进行融合识别处理，输出图像识别结果。具体地，在图像识别装置1201的特征提取模块1221多个第二图像数据提取特征数据，图像识别装置1201的融合识别模块1231将由此得到的多个特征数据融合为一体，然后进行识别，最后输出图像识别结果。

在其他一些实施方式中，可以以不同的方式对不同帧的第一图像数据和第二图像数据分组，例如以不同的划分策略或预设值预先设定摄像头扫描不同帧图像时的采集区域的子采集区域的数量和大小。在一个这样的实施方式中，在处理第一帧图像的图像数据中，可以使用图7示出的的划分方式，使得采集区域被划分为大小相等的3个子采集区域。而在处理第二帧图像的图像数据中，可以使用图11采用的划分策略，即使得采集区域被划分为大小不相等的两个子采集区域，其中一个子采集区域的大小是另一个的2倍。

在其他一些实施方式中，还可以以不同的方式对同一帧的第一图像数据和第二图像数据分组，例如，在图像数据处理流程中以一种方式设定采集区域的各子采集区域，而在图像识别流程中以另一种方式设定采集区域的各子采集区域。在一个这样的实施方式中，在图像数据处理流程中，采集区域被划分为4个相等的子采集区域F、G、H和I，而在图像识别流程中，采集区域被划分为2个相等的子采集区域J和K，其中子采集区域J与子采集区域F和G的交集重合，子采集区域K与子采集区域H和I的交集重合。这样既可以使得图像数据处理流程得以提前，又能够保证图像识别流程不过分复杂，避免增加图像识别流程的时间。

在其他一些实施方式中，尤其是图像传感器例如为激光雷达的实施方式中，可以不用四角的坐标限定图像的各子采集区域，而是用旋转角度限定，例如可以用0°至90°的旋转角度范围限定点云的一子采集区域。

在其他一些实施方式中，特征提取模块和融合识别模块的各层和各子层的数量是可调整的。相应地，在其他一些实施方式中，特征提取和融合识别的各处理和各子处理被执行的次数也是可调整的。

在一些实施方式中，图像数据处理装置接收来自图像传感器的第一图像数据，该第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，该采集区域表示所述图像传感器的采集范围。图像数据处理装置对所述第一图像数据进行图像处理得到第二图像数据。图像数据处理装置输出所述第二图像数据。也就是说，在本实施方式中，在图像处理流程中，没有以分组的方式处理第一图像数据。

在一些实施方式中，图像识别装置依次接收第二图像数据，该第二图像数据是对第一图像数据进行图像处理得到的，该第一图像数据为图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，该采集区域表示所述图像传感器的采集范围。图像识别装置依次从所述第二图像数据提取特征数据。图像识别装置对各个特征数据进行融合识别处理。图像识别装置输出图像识别结果。也就是说，在本实施方式中，在图像识别流程中，没有以分组的方式处理第二图像数据。

图13示例性地示出了根据本申请一个实施方式的驾驶系统3001的结构示意图。驾驶系统3001是高级驾驶辅助系统(ADAS)，其包括图像传感器图像数据处理系统1001和驾驶决策单元3100。图像传感器图像数据处理系统1001可以与驾驶系统3001外的摄像机2001通信连接，处理和识别由摄像机2001扫描采集区域所依次生成的多个第一图像数据并且输出图像识别结果。驾驶决策单元3100与图像传感器图像数据处理系统1001通信连接，用于依据图像传感器图像数据处理系统1001输出的图像识别结果执行行为决策和运动规划并输出操作指令。

图14示例性地示出了根据本申请一个实施方式的智能网联车V的结构示意图。智能网联车V包括通常设定在车前的摄像机2001、设定在车内的驾驶系统3001、电子控制单元4001和例如为制动机构的执行器5001。摄像机2001以按行扫描其采集区域的方式感知车辆环境并依次输出多个第一图像数据。驾驶系统3001与摄像机2001通信连接，用于根据来自摄像机2001的多个第一图像数据输出操作指令。电子控制单元(Electronic ControlUnit,ECU)4001与驾驶系统3001通信连接，用于依据来自驾驶系统3001的操作指令控执行器5001执行操作，例如依据驾驶系统的制动指令控制制动机构执行制动操作。

图15是本申请实施方式提供的一种计算设备1500的结构性示例性图。该计算设备1500包括：处理器1510、存储器1520、通信接口1530、总线1540。

应理解，图15所示的计算设备1500中的通信接口1530可以用于与其他设备之间执行通信。

其中，该处理器1510可以与存储器1520连接。该存储器1520可以用于存储该程序代码和数据。因此，该存储器1520可以是处理器1510内部的存储单元，也可以是与处理器1510独立的外部存储单元，还可以是包括处理器1510内部的存储单元和与处理器1510独立的外部存储单元的部件。

可选的，计算设备1500还可以包括总线1540。其中，存储器1520、通信接口1530可以通过总线1540与处理器1510连接。总线1540可以是外设部件互连标准(PeripheralComponent Interconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。所述总线1540可以分为地址总线、数据总线、控制总线等。为便于表示，图15中仅用一条线表示，但并不表示仅有一根总线或一种类型的总线。

应理解，在本申请实施方式中，该处理器1510可以采用中央处理单元(centralprocessing unit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1510采用一个或多个集成电路，用于执行相关程序，以实现本申请实施方式所提供的技术方案。

该存储器1520可以包括只读存储器和随机存取存储器，并向处理器1510提供指令和数据。处理器1510的一部分还可以包括非易失性随机存取存储器。例如，处理器1510还可以存储设备类型的信息。

在计算设备1500运行时，所述处理器1510执行所述存储器1520中的计算机执行指令执行上述任一种处理图像传感器图像数据的方法的操作步骤。

在其他一些实施方式中，省略了通信接口1530和总线1540。

应理解，根据本申请实施方式的计算设备1500可以对应于执行根据本申请各实施方式的方法中的相应主体，并且计算设备1500中的各个单元的上述和其它操作和/或功能分别为了实现本实施方式各方法的相应流程，为了简洁，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施方式描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再赘述。

在本申请所提供的几个实施方式中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示例性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分策略，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施方式还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种处理图像传感器图像数据的方法，该方法包括上述各个实施方式所描述的方法中的至少之一。

本申请实施方式的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、云(cloud)或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本申请的较佳实施方式及所运用的技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施方式，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施方式对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施方式，在不脱离本申请的构思的情况下，还可以包括更多其他等效实施方式，均属于本申请的保护范畴。

Claims (17)

1.一种处理图像传感器图像数据的方法，其特征在于，包括：

接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；

对所述第一图像数据进行图像处理得到第二图像数据；以及

输出所述第二图像数据。

2.根据权利要求1所述的方法，其特征在于，所述采集区域包括多个子采集区域；

所述对所述第一图像数据进行图像处理包括：

当接收到第一数据组A所包含的第一图像数据后，以第一图像数据组A所包含的全部第一图像数据为单位进行图像处理，所述第一图像数据组A是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

3.根据权利要求2所述的方法，其特征在于，所述多个子采集区域的大小和数量为预先设定。

4.一种处理图像传感器图像数据的方法，其特征在于，包括：

依次接收第二图像数据，所述第二图像数据是对第一图像数据进行图像处理得到的，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；

依次从所述第二图像数据提取特征数据；

对各个特征数据进行融合识别处理；以及

输出图像识别结果。

5.根据权利要求4所述的方法，其特征在于，对所述第二图像数据分组；

所述各个特征数据是从各组所述第二图像数据中提取。

6.根据权利要求5所述的方法，其特征在于，所述各组所述第二图像数据的第二图像数据的数量为预先设定。

7.一种图像数据处理装置，其特征在于，包括：

接收模块，用于接收来自图像传感器的第一图像数据，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；以及

图像处理模块，用于对所述第一图像数据进行图像处理得到第二图像数据，以及用于输出所述第二图像数据。

8.根据权利要求7所述的装置，其特征在于，所述采集区域包括多个子采集区域；

所述对所述第一图像数据进行图像处理包括：

所述图像处理模块还用于当所述接收模块接收到第一数据组A所包含的第一图像数据后，以第一图像数据组A所包含的全部第一图像数据为单位进行图像处理，所述第一图像数据组A是所述图像传感器扫描一个所述子采集区域所对应的物理区域而生成的所述第一图像数据的集合。

9.根据权利要求8所述的装置，其特征在于，所述多个子采集区域的大小和数量为预先设定。

10.一种图像识别装置，其特征在于，包括：

接收模块，用于依次接收第二图像数据，所述第二图像数据是对第一图像数据进行图像处理得到的，所述第一图像数据为所述图像传感器在一个扫描周期内扫描采集区域对应的物理区域可生成的多个图像数据中一个图像数据，所述采集区域表示所述图像传感器的采集范围；

特征提取模块，用于依次从所述第二图像数据提取特征数据；以及

融合识别模块，用于对各个特征数据进行融合识别处理，以及用于输出图像识别结果。

11.根据权利要求10所述的装置，其特征在于，所述特征提取模块还用于对所述第二图像数据分组；

所述各个特征数据是从各组所述第二图像数据中提取。

12.根据权利要求11所述的装置，其特征在于，所述各组所述第二图像数据的第二图像数据的数量为预先设定。

13.一种图像传感器图像数据处理系统，其特征在于，包括：

如权利要求7至9中任一项所述的图像数据处理装置；以及

如权利要求10至12中任一项所述的图像识别装置。

14.一种驾驶系统，其特征在于，包括如权利要求13所述的图像传感器图像数据处理系统和驾驶决策单元；

其中所述驾驶决策单元与所述图像传感器图像数据处理系统连接，用于依据所述图像传感器图像数据处理系统输出的图像识别结果执行行为决策和运动规划，并输出操作指令。

15.一种车辆，其特征在于，包括依次连接的图像传感器、如权利要求14所述的驾驶系统、电子控制单元和执行器；其中

所述图像传感器用于以扫描的方式感知车辆环境并输出第一图像数据；

所述电子控制单元用于依据所述驾驶系统的操作指令控制所述执行器执行操作。

16.一种计算设备，其特征在于，包括：

至少一个处理器；以及

至少一个存储器，其与所述处理连接并存储有程序指令，所述程序指令当被所述至少一个处理器执行时使得所述至少一个处理器执行权利要求1至3和权利要求4至6中任一项所述的方法。

17.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令当被计算机执行时使得所述计算机执行权利要求1至3和权利要求4至6中任一项所述的方法。

Images