CN115797142A - 图像数据处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像数据处理方法、装置、电子设备及存储介质。该方法应用于电子设备，所述电子设备包括图像信号处理器ISP及存储器，该方法包括：所述ISP对第一图像数据进行特征提取，得到特征提取结果，所述特征提取结果包括符合神经网络算法需求的特征提取结果；所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将所述第二图像数据写入到所述存储器中；其中，所述第一数据格式为神经网络算法规定的数据格式。上述的图像数据处理方法、装置、电子设备及存储介质，能够减少对存储器的读写次数，节省系统带宽，提高了系统性能。

Description

图像数据处理方法、装置、电子设备及存储介质

技术领域

本申请涉及影像技术领域，具体涉及一种图像数据处理方法、装置、电子设备及存储介质。

背景技术

在影像技术领域中，随着人工智能的快速发展，通过神经网络对图像数据进行处理来提升图像画质，已成为一种非常普遍的图像处理方式。电子设备的ISP(Image SignalProcessor，图像信号处理器)主要负责对图像传感器采集的原始图像数据进行处理，其得到的图像数据并不总是能被神经网络算法直接使用。因此，需要对ISP得到的图像数据进行进一步处理，得到满足神经网络算法需求的数据，这个过程中会导致数据从存储器读出及写入的次数增多，增加占用的带宽，降低了系统性能。

发明内容

本申请实施例公开了一种图像数据处理方法、装置、电子设备及存储介质，能够减少对存储器的读写次数，节省系统带宽，提高了系统性能。

本申请实施例公开了一种图像数据处理方法，应用于电子设备，所述电子设备包括图像信号处理器ISP及存储器，所述方法包括：

所述ISP对第一图像数据进行特征提取，得到特征提取结果，所述特征提取结果包括符合神经网络算法需求的特征提取结果；

所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将所述第二图像数据写入到所述存储器中；其中，所述第一数据格式为神经网络算法规定的数据格式。

本申请实施例公开了一种图像数据处理装置，应用于电子设备，所述电子设备包括图像信号处理器ISP及存储器，所述装置包括：

特征提取模块，用于通过所述ISP对第一图像数据进行特征提取，得到特征提取结果，所述特征提取结果包括符合神经网络算法需求的特征提取结果；

格式处理模块，用于通过所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将所述第二图像数据写入到所述存储器中；其中，所述第一数据格式为神经网络算法规定的数据格式。

本申请实施例公开了一种电子设备，包括处理器及存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

本申请实施例提供的图像数据处理方法、装置、电子设备及存储介质，ISP对第一图像数据进行特征提取，得到特征提取结果，该特征提取结果包括符合神经网络算法需求的特征提取结果，ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将第二图像数据写入到存储器中，直接由ISP对第一图像数据进行特征提取，以及对特征提取结果进行处理，得到能够直接被神经网络算法使用的第二图像数据，相较于相关技术中在ISP将不能被神经网络算法直接使用的图像数据写入存储器之后，再从存储器中读取图像数据进行特征提取及格式转换等处理的方式，本申请实施例中特征提取及对特征提取结果的处理都是在ISP中进行，能够减少对存储器的读写次数，节省了系统带宽，提高了系统性能，并提高了特征提取的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A为相关技术中提供的一种对图像数据进行格式转换的方式的示意图；

图1B为相关技术中提供的另一种对图像数据进行格式转换的方式的示意图；

图1C为相关技术中提供的又一种对图像数据进行格式转换的方式的示意图；

图2为一个实施例中图像处理电路的框图；

图3为一个实施例中图像数据处理方法的流程图；

图4为一个实施例中拜尔阵列格式的图像数据示意图；

图5为一个实施例中ISP进行特征提取及特征处理的示意图；

图6A为一个实施例中HWC数据格式的数据排布示意图；

图6B为一个实施例中CHW数据格式的数据排布示意图；

图6C为一个实施例中HCW数据格式的数据排布示意图；

图7为另一个实施例中图像数据处理方法的流程图；

图8A为一个实施例中对第一图像数据进行颜色通道分离的示意图；

图8B为另一个实施例中对第一图像数据进行颜色通道分离的示意图；

图9A为一个实施例中对第一特征图进行下采样的示意图；

图9B为一个实施例中子特征图排布的示意图；

图9C为另一个实施例中子特征图排布的示意图；

图10为一个实施例中图像数据处理装置的结构框图；

图11为一个实施例中电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一图像数据称为第二图像数据，且类似地，可将第二图像数据称为第一图像数据。第一图像数据和第二图像数据两者都是图像数据，但其不是同一图像数据。

在影像技术领域中，随着人工智能的快速发展，通过神经网络对图像数据进行处理来提升图像画质，已成为一种非常普遍的图像处理方式。电子设备内部可设置有ISP和NPU(Neural-network Processing Unit，神经网络处理器)，ISP和NPU各司其职，ISP主要负责对图像传感器采集的原始图像数据进行处理，得到的图像数据可写入到存储器中，再由NPU从存储器中读取该图像数据并进行神经网络相关的处理。

在相关技术中，由于ISP得到的图像数据的数据格式不能被神经网络算法直接使用，因此需要先通过格式转换电路从存储器中读取ISP写入的图像数据，对图像数据进行格式转换，再将格式转换后的图像数据写入存储器，然后由NPU从存储器中读取该格式转换后的图像数据并进行神经网络相关的处理。这种方式会增加对存储器的读写次数，占用大量的系统带宽，导致系统性能下降。

图1A为相关技术中提供的一种对图像数据进行格式转换的方式的示意图。如图1A所示，格式转换电路140可内置在NPU130中，ISP110将图像数据写入存储器120后，NPU130中的格式转换电路140从存储器120读取图像数据进行格式转换等处理，再将格式转换后的图像数据写入存储器120。然后，NPU从存储器120中读取格式转换后的图像数据进行神经网络相关的处理，并将处理结果写入存储器120中。需要占用5个读写通道，导致占用的带宽增加。

图1B为相关技术中提供的另一种对图像数据进行格式转换的方式的示意图。如图1B所示，格式转换电路140可以是独立于ISP110及NPU130的模块，其工作方式与图1A类似，均需要占用5个读写通道，导致占用的带宽增加。

更恶劣的情况是，在对图像数据进行格式转换之前，需要先通过特征提取电路进行特征提取，而该特征提取电路与格式转换电路是独立的两个模块，如图1C所示，特征提取电路150独立于格式转换电路140，则需要先由特征提取电路150从存储器12中读取图像数据进行特征提取后，将提取的特征数据写入存储器，再由格式转换电路140读取该特征数据进行格式转换，进一步增加了对存储器120的读写通道，导致占用的带宽增加，降低了系统性能。

在本申请实施例中提供一种图像数据处理方法、装置、电子设备及存储介质，ISP能够将第二图像数据按照神经网络算法规定的第一数据格式写入存储器中，满足了神经网络算法对图像数据的数据格式需求，且特征提取及对特征提取结果的处理都是在ISP中进行，能够减少对存储器的读写次数，节省了系统带宽，提高了系统性能。

本申请实施例提供一种电子设备，该电子设备可包括但不限于手机、智能可穿戴设备、平板电脑、PC(Personal Computer，个人计算机)、车载终端、数码相机等，本申请实施例对此不作限定。该电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP管线的各种处理单元。图2为一个实施例中图像处理电路的框图。为便于说明，图1仅示出与本申请实施例相关的图像数据处理技术的各个方面。

如图2所示，图像处理电路包括ISP240和控制逻辑器250。成像设备210捕捉的图像数据首先由ISP240处理，ISP240对图像数据进行分析以捕捉可用于确定成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括一个或多个透镜212和图像传感器214。图像传感器214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器214可获取每个成像像素捕捉的光强度和波长信息，并提供可由ISP240处理的一组原始图像数据。姿态传感器220(如三轴陀螺仪、霍尔传感器、加速度计等)可基于姿态传感器220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP240。姿态传感器220接口可以采用SMIA(StandardMobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行摄像头接口或上述接口的组合。

需要说明的是，虽然图1中仅示出了一个成像设备210，但是在本申请实施例中，可包括至少两个成像设备210，每个成像设备210可分别对应一个图像传感器214，也可多个成像设备210对应一个图像传感器214，在此不作限定。每个成像设备210的工作过程可参照上述所描述的内容。

此外，图像传感器214也可将原始图像数据发送给姿态传感器220，姿态传感器220可基于姿态传感器220接口类型把原始图像数据提供给ISP240，或者姿态传感器220将原始图像数据存储到存储器230中。

ISP240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP240还可从存储器230接收图像数据。例如，姿态传感器220接口将原始图像数据发送给存储器230，存储器230中的原始图像数据再提供给ISP240以供处理。存储器230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器214接口或来自姿态传感器220接口或来自存储器230的原始图像数据时，ISP240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给存储器230，以便在被显示之前进行另外的处理。ISP240从存储器230接收处理数据，并对该处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP240处理后的图像数据可输出给显示器260，以供用户观看和/或由图形引擎或GPU(GraphicsProcessing Unit，图形处理器)进一步处理。此外，ISP240的输出还可发送给存储器230，且显示器260可从存储器230读取图像数据。在一个实施例中，存储器230可被配置为实现一个或多个帧缓冲器。

ISP240确定的统计数据可发送给控制逻辑器250。例如，统计数据可包括陀螺仪的振动频率、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备210的控制参数及ISP240的控制参数。例如，成像设备210的控制参数可包括姿态传感器220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、照相机防抖位移参数、透镜212控制参数(例如聚焦或变焦用焦距)或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜212阴影校正参数。

在本申请实施例中，ISP240对第一图像数据进行特征提取，得到特征提取结果，再对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将第二图像数据写入到存储器230中，其中，第一数据格式为神经网络算法规定的数据格式。

在一些实施例中，图像处理电路还包括NPU270，NPU270可从存储器230中读取第二图像数据，并基于神经网络算法对第二图像数据进行处理，得到处理结果，再将处理结果写入存储器230中。

如图3所示，在一个实施例中，提供一种图像数据处理方法，可应用于上述的电子设备，该电子设备可包括但不限于手机、可穿戴设备、平板电脑、PC(Personal Computer，个人计算机)、车载终端等。该方法可包括以下步骤：

步骤310，ISP对第一图像数据进行特征提取，得到特征提取结果。

ISP可获取图像传感器采集的原始图像数据，该原始图像数据即为图像传感器将捕捉到的光源信号转化为数字信号的原始数据(RAW DATA)。原始图像数据可为拜尔阵列(Bayer pattern)格式，在拜尔阵列格式中包含了50％的绿色信息，以及25％的红色信息和25％的蓝色信息。

示例性地，图4为一个实施例中拜尔阵列格式的图像数据示意图。如图4所示，该图像数据包括50％的G(即绿色信息)、25％的R(即红色信息)及25％的B(即蓝色信息)，奇数行像素为GRGR，偶数行像素为BGBG。

ISP可对原始图像数据进行处理，得到RGB(红绿蓝)格式的图像数据，该处理可包括但不限于颜色插值处理、滤波处理、校正处理等。

由于拜尔阵列格式的原始图像数据中每个像素点仅有一个颜色通道的值，颜色插值处理则是通过插值算法计算得到每个像素点在R、G、B三个颜色通道的值。滤波处理可去除图像数据的噪声。

校正处理可包括对原始图像数据进行镜头阴影校正、坏点校正等，镜头阴影校正可以是检测出图像中亮度均匀分布的区域，并以该区域为中心，计算周围需要补偿的因子(即增益)，利用该因子对图像数据进行校正；坏点校正可以是检测图像中的坏点(如某个点与周围的点偏离超过阈值可认为是坏点)，并对检测到的坏点进行校正，如可以采用中值滤波等方式进行校正。

ISP对第一图像数据进行特征提取，得到特征提取结果，该特征提取结果包括符合神经网络算法需求的特征提取结果。可选地，该第一图像数据可以是通过图像传感器采集的拜尔阵列格式的原始图像数据，或，第一图像数据可以是ISP对通过图像传感器采集的拜尔阵列格式的原始图像数据进行处理后得到的RGB格式的图像数据。ISP可根据神经网络算法的需求对第一图像数据进行特征提取，得到符合神经网络算法需求的特征提取结果，例如，可按照神经网络算法设定的特征提取方式对第一图像数据进行特征提取，也可以是按照神经网络算求需求的图像尺寸第一图像数据进行特征提取，得到与该图像尺寸对应的特征图等，但不限于此。相较于在NPU中再进行特征提取的方式，提取效率更高。

需要说明的是，原始图像数据也可以是除拜尔阵列格式以外的其它数据格式，例如RYYB阵列格式等，RYYB格式为将拜尔阵列格式中的绿色像素G替换为黄色像素Y(红色和绿色的组合)等，但不限于此。

步骤320，ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将第二图像数据写入到存储器。

第一数据格式可为神经网络算法规定的数据格式，该数据格式定义了图像数据在存储器中的存放顺序。ISP可对特征提取结果进行处理，使得得到的第二图像数据按照第一数据格式所规定的数据排布方式进行排布，该数据排布方式可包括各个像素点在各个颜色通道上的值的排列顺序，例如，各个像素点在R、G、B三个颜色通道上的值的排列顺序。ISP可将按照第一数据格式排布的第二图像数据写入存储器，NPU读取该第二图像数据即可通过神经网络算法对第二图像数据进行与人工智能相关的处理，从而可减少与存储器之间的读写次数，节省带宽资源。

图5为一个实施例中ISP进行特征提取及特征处理的示意图。如图5所示，ISP110中可设置有特征提取及特征处理电路150，ISP110中的特征提取及特征处理电路150可获取第一图像数据，对第一图像数据进行特征提取，得到特征提取结果，并对该特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，再将第二图像数据写入到存储器120。NPU130可直接从存储器120中读取该第二图像数据进行神经网络算法相关的处理，相较于图1A～图1C，明显减少了对存储器120进行的读写次数，即减少了与存储器120之间的读写通道，节省系统带宽。

在一些实施例中，上述的第一数据格式可包括HWC数据格式、CHW数据格式、HCW数据格式等中的任一种，其中，H表示图像高度，W表示图像宽度，C表示颜色通道的数量，每个颜色通道可分别对应不同的颜色标识，例如，RGB图像可包括R、G、B三个颜色通道等。特征提取结果可包括各个颜色通道对应的特征图。

其中，HWC数据格式中，各个颜色通道对应的特征图中，同一坐标位置的像素点的像素值按行(即宽度方向)依次进行排布，且各个颜色通道对应的特征图中处于同一列的像素点的像素值按列(即高度方向)依次进行排布。

图6A为一个实施例中HWC数据格式的数据排布示意图。如图6A所示，在HWC数据格式中，在R、G、B三个颜色通道的特征图中，同一坐标位置的像素点的像素值排布在同一行，且按照R、G、B的顺序(即颜色通道方向)进行排布，在每个特征图中属于同一行(即在同一高度)的像素点的像素值按照宽度方向依次排布在同一行中，在每个特征图中属于同一列的像素点的像素值按照高度方向依次排布在同一列。图6A中每个图标下的标识为坐标位置，该坐标位置中第一个数字表示像素点在特征图中的行数(即高度方向上的序号)，第二个数字表示像素点在特征图中的列数(即宽度方向上的序号)，例如，1-1表示第1行第1列的像素点，4-3表示第4行第3列的像素点。

CHW数据格式中，按照设定的颜色通道的顺序，将各个颜色通道对应的特征图包含的各个像素点的像素值依次进行排布。

图6B为一个实施例中CHW数据格式的数据排布示意图。如图6B所示，CHW数据格式先按照颜色通道的方向(即上述的设定的颜色通道的顺序)进行排序，如按照R、G、B的顺序，将同一颜色通道的特征图中的各个像素点的像素值排布在一起，且同一颜色通道的特征图中的各个像素点的像素值按照坐标位置依次进行排布。图6B中每个图标下的标识为坐标位置，其含义与图6A中的坐标位置相同。

HCW数据格式中，各个颜色通道对应的特征图中，同一坐标位置的像素点的像素值按列(即高度方向)依次进行排布，且各个颜色通道对应的特征图中处于同一行的像素点的像素值按行(即宽度方向)依次进行排布。

图6C为一个实施例中HCW数据格式的数据排布示意图。如图6C所示，在HCW数据格式中，在R、G、B三个颜色通道的特征图中，同一坐标位置的像素点的像素值排布在同一列，且排布顺序为R、G、B，同一颜色通道的特征图的同一行的像素点的像素值排布在同一行。也即，先按照宽度方向，将排列在同一行的像素点的像素值按照R、G、B的顺序进行排布，先排第1行像素点在R通道的像素值，再排第1行像素点在G通道的像素值，再排第1行像素点在B通道的像素值，然后排第2行像素点……，以此类推。图6C中每个图标下的标识为坐标位置，其含义与图6A中的坐标位置相同。

需要说明的是，第一数据格式并不仅限于上述的几种数据格式，也可以是其它数据格式，在此不作限定。通过将第一图像数据转换为按照第一数据格式排布的第二数据格式，能够提升NPU实现不同需求的神经网络算法的能力，提高NPU的性能。

在本申请实施例中，直接由ISP对第一图像数据进行特征提取，以及对特征提取结果进行处理，得到能够直接被神经网络算法使用的第二图像数据，相较于相关技术中在ISP将不能被神经网络算法直接使用的图像数据写入存储器之后，再从存储器中读取图像数据进行特征提取及格式转换等处理的方式，本申请实施例中特征提取及对特征提取结果的处理都是在ISP中进行，能够减少对存储器的读写次数，节省了系统带宽，提高了系统性能，并提高了特征提取的效率。

如图7所示，在另一个实施例中，提供一种图像数据处理方法，可应用于上述的电子设备，该方法可包括以下步骤：

步骤702，ISP对第一图像数据进行颜色通道分离，得到多个颜色通道的图像数据。

第一图像数据可包括多个颜色通道，ISP可对第一图像数据进行颜色通道分离，得到每个颜色通道对应的图像数据，例如，第一图像数据为RGB图像数据，则可将第一图像数据分别按照R通道、G通道及B通道进行分离，R通道的图像数据即为RGB图像数据中各个像素点在R通道的值，G通道的图像数据即为RGB图像数据中各个像素点在G通道的值，B通道的图像数据即为RGB图像数据中各个像素点在B通道的值。

作为一种实施方式，第一图像数据可以是通过图像传感器采集的拜尔阵列格式的原始图像数据，也可分别按照R通道、G通道及B通道进行分离，得到R通道、G通道、B通道的图像数据，其中，该R通道的图像数据即为利用红色滤光片采集的图像，G通道的图像数据即为利用绿色滤光片采集的图像，B通道的图像数据即为利用蓝色滤光片采集的图像。示例性地，如图8A所示，拜尔阵列格式的第一图像数据810可分离得到R通道的图像数据820、G通道的图像数据830及B通道的图像数据840。

进一步地，由于拜尔阵列中，绿色信息占50％，因此，可按照R通道、G通道、G通道及B通道等四个颜色通道对第一图像数据进行分离，将利用绿色滤光片采集的图像进一步划分为两个G通道的图像。示例性地，如图8B所示，拜尔阵列格式的第一图像数据810可分离得到R通道的图像数据820、G通道的图像数据832、G通道的图像数据834及B通道的图像数据840。

步骤704，ISP分别对各个颜色通道的图像数据进行特征提取，得到特征提取结果。

针对每个颜色通道的图像数据，ISP可分别进行特征提取，得到每个颜色通道的特征图。在一些实施例中，ISP可采用平均池化、最大值池化等方式对每个颜色通道的图像数据进行池化处理，得到每个颜色通道的特征图，并将每个颜色通道的特征图作为特征提取结果。

其中，平均池化可以是将图像数据按预设的第一窗口尺寸划分为多个图像块，例如按4*4、2*2或3*3等窗口尺寸划分为多个图像块，但不限于此，可计算每个图像块的平均值，该平均值即为该图像块对应的特征值。

最大值池化可以是将图像数据按预设的第一窗口尺寸划分为多个图像块，例如按4*4、2*2或3*3等窗口尺寸划分为多个图像块，并计算每个图像块的最大值，该最大值即为该图像块对应的特征值。

在一些实施例中，ISP在对每个颜色通道的图像数据进行池化处理，得到每个颜色通道的特征图后，还可对每个颜色通道的特征图进行下采样，得到每个颜色通道的多个子特征图。

以第一颜色通道为例，该第一颜色通道可为第一图像数据的多个颜色通道中的任一颜色通道。ISP可按照第一窗口尺寸对第一颜色通道的图像数据进行池化处理，得到第一颜色通道的第一特征图，再按照第二窗口尺寸对第一特征图进行下采样，得到第一颜色通道的多个子特征图。

作为一种具体实施方式，ISP可按照第二窗口尺寸将第一特征图划分为多个特征图像块，并依次从每个特征图像块中提取特征值，生成子特征图。生成的子特征图的数量可与第二窗口尺寸的大小有关，该子特征图的数量可以是第二窗口尺寸包含的特征值的数量，例如，2*2的窗口尺寸，可生成4个子特征图。同一子特征图的特征值在第一特征图像的各个特征图像块中的位置可相同。

示例性地，图9A为一个实施例中对第一特征图进行下采样的示意图。如图9A所示，第一颜色通道可为R通道，可按照2*2的窗口尺寸将R通道的特征图910划分为多个特征图像块，可从每个特征图像块中提取左上角的特征值，即特征图像块中的坐标为(1，1)的特征值，生成子特征图912；可从每个特征图像块中提取右上角的特征值，即特征图像块中的坐标为(2，1)的特征值，生成子特征图914；可从每个特征图像块中提取左下角的特征值，即特征图像块中的坐标为(1，2)的特征值，生成子特征图916；可从每个特征图像块中提取右下角的特征值，即特征图像块中的坐标为(2，2)的特征值，生成子特征图918。

在得到每个颜色通道的子特征图后，ISP可按照预设顺序将各个颜色通道对应的多个子特征图进行排布，得到特征提取结果。该预设顺序可根据实际需求进行设置，在本申请实施例中不作限定。

示例性地，预设顺序可以是按照颜色通道的方向依次进行排序，如可按照R颜色通道、G颜色通道、B颜色通道将所有的子特征图依次进行排布。图9B为一个实施例中子特征图排布的示意图。如图9B所示，箭头方向指示的是子特征图的排布方向，各个颜色通道有4张子特征图，则可按照R通道、B通道、G通道的顺序依次进行排序；进一步地，每个颜色通道的4张子特征图，还可按照特征值在特征图像块中的位置依次进行排布，例如，可以是按照特征值在特征图像块的坐标(1，1)、(2，1)、(1，2)、(2，2)的顺序排布，也可以是(1，1)、(1，2)、(2，1)、(2，2)的顺序排布，在此不作限定。

示例性地，预设顺序也可以是按照子特征图包含的特征值在各颜色通道的特征图的特征图像块中的位置依次进行排序，例如，可将对应特征图像块中的坐标(1，1)的子特征图依次进行排布，再将对应特征图像块中的坐标(2，1)的子特征图依次进行排布等，在此不作限定。图9C为另一个实施例中子特征图排布的示意图。如图9C所示，箭头方向指示的是子特征图的排布方向，可将特征值在特征图像块中对应相同位置的子特征图排布在一起，如先排布特征值在特征图像块的坐标(1，1)的R通道、G通道及B通道的子特征图，再排布特征值在特征图像块的坐标(2，1)的R通道、G通道及B通道的子特征图……等。

需要说明的是，各张子特征图的排布顺序在本申请实施例中不作限定，也可以是其它顺序。

在一些实施例中，第一图像数据可以是通过图像传感器采集的拜尔阵列格式的原始图像数据，ISP直接对图像传感器采集的原始图像数据进行特征提取，可以更快地将第一图像数据转换为第一数据格式的第二图像数据存储到存储器中，提高处理效率。

在另一些实施例中，第一图像数据可以是ISP对通过图像传感器采集的拜尔阵列格式的原始图像数据进行处理后得到的RGB格式的图像数据，利用该RGB格式的图像数据进行特征提取，可使得特征提取结果更加准确。

步骤706，ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将第二图像数据写入到存储器中。

在一些实施例中，ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，可包括：ISP将特征提取结果按照第一数据格式排布，得到第二图像数据。

ISP可获取NPU中的神经网络算法规定的第一数据格式，并直接将特征提取结果按照该第一数据格式进行排布。可选地，每种不同的第一数据格式可对应不同的数据读取方式，可按照该第一数据格式对应的数据读取方式依次从特征提取结果中包含的各张特征图中获取出相应的特征值，并进行排布。例如，该第一数据格式为HWC数据格式，则可按照颜色通道的方向-宽度方向-高度方向依次从各张特征图获取各个特征值进行排布；第一数据格式为CHW数据格式，则可按照宽度方向-高度方向-通道方向依次从各张特征图获取各个特征值进行排布；第一数据格式为HCW数据格式，则可按照宽度方向-颜色通道的方向-高度方向依次从各张特征图获取各个特征值进行排布。

各种不同的第一数据格式的数据排布方式可参考上述各实施例中的相关描述，在此不再重复赘述。

作为一种实施方式，特征提取结果包括按预设顺序排布的多张子特征图，也可直按照第一数据格式数据读取方式依次从各子特征图中获取出相应的特征图，上述的颜色通道的方向即为子特征图的排布方向。

在本申请实施例中，ISP直接将特征提取结果按照第一数据格式排布，不需要再进行格式转化，可节省处理功耗。

在另一些实施例中，ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，可包括：ISP将特征提取结果按照第二数据格式排布，得到第三图像数据；根据第一数据格式对第三图像数据进行格式转换，以得到按照第一数据格式排布的第二图像数据。

第二数据格式也可以是HWC数据格式、CHW数据格式、HCW数据格式中的任一种。ISP可将特征提取结果按照固定的第二数据格式进行排布，若该第二数据格式不是NPU中的神经网络算法所规定的数据格式，则可将根据第一数据格式对第三图像数据进行格式转换，以得到按照第一数据格式排布的第二图像数据。

例如，ISP先将特征提取结果按照HWC数据格式进行排布，如果NPU中的神经网络算法所支持的数据格式不是HWC数据格式，再进行数据转换，将图像数据从HWC数据格式转换至NPU中的神经网络算法所支持的数据格式。先按照固定的第二数据格式对特征提取结果进行数据排布，再根据神经网络算法的算法进行数据转换，处理逻辑更为简单，准确性更高。

在一些实施例中，ISP中设置的特征提取及特征处理电路，可包括特征提取电路及格式处理电路，该特征提取电路可用于对第一图像数据进行特征提取，得到特征提取结果，该格式处理电路可用于对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据。由于特征处理电路及格式处理电路设置在ISP中，且二者为互斥的模块，也即二者不会同时进行工作，因此，特征处理电路及格式处理电路在工作时可复用ISP中空闲的SRAM(Static Random-Access Memory，静态随机存取存储器)等存储资源，可节省资源消耗并降低功耗，且不需要为特征处理电路及格式处理电路增加额外的SRAM等，可减少芯片面积。

步骤708，NPU从存储器中读取第二图像数据，并基于神经网络算法对第二图像数据进行处理，得到处理结果。

步骤710，NPU将处理结果写入存储器中。

NPU可从从存储器中读取第二图像数据，并基于神经网络算法对第二图像数据进行处理，该神经网络算法可包括但不限于CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)、GAN(Generative AdversarialNetworks，生成式对抗网络)等，本申请实施例对此不作限定。

在本申请实施例中，ISP能够对第一图像数据进行特征提取，并生成按照神经网络算法需求的数据格式排布的第二图像数据，能够减少对存储器的读写次数，减少占用的带宽资源，提高系统性能。

如图10所示，在一个实施例中，提供一种图像数据处理装置1000，应用于电子设备，电子设备包括图像信号处理器ISP及存储器，图像数据处理装置1000可包括特征提取模块1010及格式处理模块1020。

特征提取模块1010，用于通过ISP对第一图像数据进行特征提取，得到特征提取结果，特征提取结果包括符合神经网络算法需求的特征提取结果。

在一个实施例中，第一图像数据为通过图像传感器采集的拜尔阵列格式的原始图像数据；或，第一图像数据为ISP对通过图像传感器采集的拜尔阵列格式的原始图像数据进行处理后得到的RGB格式的图像数据。

在一个实施例中，第一数据格式包括HWC数据格式、CHW数据格式、HCW数据格式中的任一种。特征提取结果包括多个颜色通道对应的特征图，其中，HCW数据格式中，各个颜色通道对应的特征图中，同一坐标位置的像素点的像素值按列依次进行排布，且各个颜色通道对应的特征图中处于同一行的像素点的像素值按行依次进行排布。

格式处理模块1020，用于通过ISP对特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将第二图像数据写入到存储器中；其中，第一数据格式为神经网络算法规定的数据格式。

在本申请实施例中，ISP能够将第二图像数据按照神经网络算法规定的第一数据格式写入存储器中，满足了神经网络算法对图像数据的数据格式需求，且相较于相关技术中在ISP将数据格式不能被神经网络算法直接使用的图像数据写入存储器之后，再从存储器中读取图像数据进行格式转换等处理的方式，本申请实施例中特征提取及对特征提取结果的处理都是在ISP中进行，能够减少对存储器的读写次数，节省了系统带宽，提高了系统性能。

在一个实施例中，特征提取模块1010，包括通道分离单元及提取单元。

通道分离单元，用于通过ISP对第一图像数据进行颜色通道分离，得到多个颜色通道的图像数据。

提取单元，用于通过ISP分别对各个颜色通道的图像数据进行特征提取，得到特征提取结果。

在一个实施例中，提取单元，还用于通过ISP按照第一窗口尺寸对第一颜色通道的图像数据进行池化处理，得到第一颜色通道的第一特征图，该第一颜色通道为多个颜色通道中的任一颜色通道；通过ISP按照第二窗口尺寸对第一特征图进行下采样，得到第一颜色通道的多个子特征图；以及用于通过ISP按照预设顺序将各个颜色通道对应的多个子特征图进行排布，得到特征提取结果。

在一个实施例中，格式处理模块1020，还用于通过ISP将特征提取结果按照第一数据格式排布，得到第二图像数据。

在一个实施例中，格式处理模块1020，还用于通过ISP将特征提取结果按照第二数据格式排布，得到第三图像数据；以及用于根据第一数据格式对第三图像数据进行格式转换，以得到按照第一数据格式排布的第二图像数据。

在一个实施例中，上述图像数据处理装置1000除了包括特征提取模块1010及格式处理模块1020，还包括神经网络处理模块。

神经网络处理模块，用于通过NPU从存储器中读取第二图像数据，并基于神经网络算法对第二图像数据进行处理，得到处理结果；以及用于通过NPU将处理结果写入存储器中。

在本申请实施例中，ISP能够对第一图像数据进行特征提取，并生成按照神经网络算法需求的数据格式排布的第二图像数据，能够减少对存储器的读写次数，减少占用的带宽资源，提高系统性能。

图11为一个实施例中电子设备的结构框图。如图11所示，电子设备1100可以包括一个或多个如下部件：处理器1110、与处理器1110耦合的存储器1120，其中存储器1120可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器1110执行时实现如上述各实施例描述的方法。

处理器1110可以包括一个或者多个处理核。处理器1110利用各种接口和线路连接整个电子设备1100内的各个部分，通过运行或执行存储在存储器1120内的指令、程序、代码集或指令集，以及调用存储在存储器1120内的数据，执行电子设备1100的各种功能和处理数据。可选地，处理器1110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1110可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1110中，单独通过一块通信芯片进行实现。

存储器1120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器1120可用于存储指令、程序、代码、代码集或指令集。存储器1120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备1100在使用中所创建的数据等。

可以理解地，电子设备1100可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、WiFi(Wireless Fidelity，无线保真)模块、扬声器、蓝牙模块、传感器等，还可在此不进行限定。

本申请实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序被处理器执行时实现如上述实施例描述的方法。

本申请实施例公开一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可被处理器执行时实现如上述各实施例描述的方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、ROM等。

如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括ROM、可编程ROM(Programmable ROM，PROM)、可擦除PROM(Erasable PROM，EPROM)、电可擦除PROM(Electrically ErasablePROM，EEPROM)或闪存。易失性存储器可包括随机存取存储器(random access memory，RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM可为多种形式，诸如静态RAM(Static RAM，SRAM)、动态RAM(Dynamic Random Access Memory，DRAM)、同步DRAM(synchronous DRAM，SDRAM)、双倍数据率SDRAM(Double Data Rate SDRAM，DDR SDRAM)、增强型SDRAM(Enhanced Synchronous DRAM，ESDRAM)、同步链路DRAM(Synchlink DRAM，SLDRAM)、存储器总线直接RAM(Rambus DRAM，RDRAM)及直接存储器总线动态RAM(DirectRambus DRAM，DRDRAM)。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在本申请的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上对本申请实施例公开的一种图像数据处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种图像数据处理方法，其特征在于，应用于电子设备，所述电子设备包括图像信号处理器ISP及存储器，所述方法包括：

所述ISP对第一图像数据进行特征提取，得到特征提取结果，所述特征提取结果包括符合神经网络算法需求的特征提取结果；

所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将所述第二图像数据写入到所述存储器中；其中，所述第一数据格式为所述神经网络算法规定的数据格式。

2.根据权利要求1所述的方法，其特征在于，所述ISP对第一图像数据进行特征提取，得到特征提取结果，包括：

所述ISP对所述第一图像数据进行颜色通道分离，得到多个颜色通道的图像数据；

所述ISP分别对各个颜色通道的图像数据进行特征提取，得到特征提取结果。

3.根据权利要求2所述的方法，其特征在于，所述ISP分别对各个颜色通道的图像数据进行特征提取，得到特征提取结果，包括：

所述ISP按照第一窗口尺寸对第一颜色通道的图像数据进行池化处理，得到所述第一颜色通道的第一特征图，所述第一颜色通道为所述多个颜色通道中的任一颜色通道；

所述ISP按照第二窗口尺寸对所述第一特征图进行下采样，得到所述第一颜色通道的多个子特征图；

所述ISP按照预设顺序将各个颜色通道对应的多个子特征图进行排布，得到特征提取结果。

4.根据权利要求1～3任一所述的方法，其特征在于，所述第一图像数据为通过图像传感器采集的拜尔阵列格式的原始图像数据；或，

所述第一图像数据为所述ISP对通过图像传感器采集的拜尔阵列格式的原始图像数据进行处理后得到的RGB格式的图像数据。

5.根据权利要求1所述的方法，其特征在于，所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，包括：

所述ISP将所述特征提取结果按照第一数据格式排布，得到第二图像数据。

6.根据权利要求1所述的方法，其特征在于，所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，包括：

所述ISP将所述特征提取结果按照第二数据格式排布，得到第三图像数据；

根据第一数据格式对所述第三图像数据进行格式转换，以得到按照所述第一数据格式排布的第二图像数据。

7.根据权利要求1所述的方法，其特征在于，所述电子设备还包括神经网络处理器NPU，在所述将所述第二图像数据写入到所述存储器中之后，所述方法还包括：

所述NPU从所述存储器中读取所述第二图像数据，并基于所述神经网络算法对所述第二图像数据进行处理，得到处理结果；

所述NPU将所述处理结果写入所述存储器中。

8.根据权利要求1～3、5～7任一所述的方法，其特征在于，所述第一数据格式包括HWC数据格式、CHW数据格式、HCW数据格式中的任一种。

9.根据权利要求8所述的方法，其特征在于，所述特征提取结果包括多个颜色通道对应的特征图；

所述HCW数据格式中，各个颜色通道对应的特征图中，同一坐标位置的像素点的像素值按列依次进行排布，且各个颜色通道对应的特征图中处于同一行的像素点的像素值按行依次进行排布。

10.一种图像数据处理装置，其特征在于，应用于电子设备，所述电子设备包括图像信号处理器ISP及存储器，所述装置包括：

特征提取模块，用于通过所述ISP对第一图像数据进行特征提取，得到特征提取结果，所述特征提取结果包括符合神经网络算法需求的特征提取结果；

格式处理模块，用于通过所述ISP对所述特征提取结果进行处理，得到按照第一数据格式排布的第二图像数据，并将所述第二图像数据写入到所述存储器中；其中，所述第一数据格式为神经网络算法规定的数据格式。

11.一种电子设备，其特征在于，包括处理器及存储器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至9任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一所述的方法。

Images