CN115734091A - 图像传感器、图像处理方法、终端及计算机存储介质 - Google Patents

Abstract

本发明涉及一种图像传感器、图像处理方法、终端和计算机存储介质，图像传感器包括像素阵列、神经网络处理器以及存储器，其中，像素阵列用于获取图像信息；存储器用于存储图像信息及人工智能程序；神经网络处理器用于执行预存在存储器的人工智能程序，以提取图像信息的语义信息。本发明利用神经网络处理器的低功耗、低成本和高算力的特点，将神经网络处理器集成于图像传感器，使图像传感器能根据采集的图像信息直接输出对应的高级语义信息，提高对图像信息的处理效率。

Description

图像传感器、图像处理方法、终端及计算机存储介质

技术领域

本发明涉及图像传感器技术领域，尤其涉及一种图像传感器、图像处理方法、终端及计算机存储介质。

背景技术

CMOS图像传感器广泛应用于各技术领域，例如数码相机、无人机、视频监控设备、自动驾驶领域等。CMOS图像传感器(Complementary Metal Oxide Semiconductor互补金属氧化物场效应管)是一种典型的固体成像传感器，将图像采集单元和信号处理单元集成到同一块芯片上。CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成,这几部分通常都被集成在同一块硅片上。其工作过程一般可分为复位、光电转换、积分、读出几部分。常规的CMOS图像传感器主要用于输出图像或者视频数据，不能进行图像识别，功能较为局限。

发明内容

有鉴于此，本发明的目的在于提供一种图像传感器、图像处理方法、终端及计算机存储介质，使图像传感器能根据采集的图像信息直接输出对应的高级语义信息，提高对图像信息的处理效率。

为实现上述目的，本发明实施例第一方面提供一种图像传感器，作为其中一种实施方式，该图像传感器包括：像素阵列、神经网络处理器以及存储器，其中，

所述像素阵列，用于获取图像信息；

所述存储器，用于存储所述图像信息及所述人工智能程序；

所述神经网络处理器，用于执行预存在所述存储器的所述人工智能程序，以提取所述图像信息的语义信息；

其中，所述图像传感器还包括图像信号处理器，用于对所述图像信息进行预处理，所述存储器存储的所述图像信息为经过所述图像信号处理器处理后的图像信息。

作为其中一种实施方式，所述神经网络处理器还用于基于所述语义信息提取目标语义信息。

作为其中一种实施方式，所述图像传感器还包括中央处理器，所述中央处理器至少与所述神经网络处理器通讯连接，用于任务规划和资源加载。

作为其中一种实施方式，所述神经网络处理器基于卷积神经网络算法以输出所述语义信息。

作为其中一种实施方式，所述神经网络处理器包括：

矩阵模块，用于进行矩阵卷积运算；

矢量模块，用于进行矢量运算或加法运算；

混合模块，用于执行人工智能的通用功能；

缓存模块，与所述矩阵模块、所述矢量模块及所述混合模块中的至少一者通讯连接，用于缓存内部数据以减少延迟；

数据模块，与所述存储器通讯连接，以基于所述数据模块自所述存储器下载数据至所述神经网络处理器，或者存储所述神经网络处理器数据至所述存储器；

指令模块，与所述存储器通讯连接，用于按顺序加载相关指令至对应的执行模块。

作为其中一种实施方式，所述神经网络处理器具有介于64-65536个之间的MAC，频率介于30MHz-1GHz之间，运算能力介于0.04-128Tops之间。

作为其中一种实施方式，所述图像传感器包括第一芯片、第二芯片及中间互连层，其中：

所述像素阵列集成在所述第一芯片中；

所述神经网络处理器及所述存储器集成在所述第二芯片中；

所述中间互连层形成在所述第一芯片和所述第二芯片之间，以实现所述第一芯片和所述第二芯片中功能模块的电性连接。

作为其中一种实施方式，所述第二芯片中还包括模数转换模块、图像处理模块、中央处理器以及外围逻辑电路中的至少一种。

为实现上述目的，本发明实施例第二方面提供一种图像处理方法，作为其中一种实施方式，该方法应用于图像传感器，所述图像传感器包括神经网络处理器，包括：

像素阵列获取图像信息；

所述神经网络处理器根据预设算法提取所述图像信息的语义信息。

作为其中一种实施方式，所述图像传感器还包括存储器，所述神经网络处理器根据预设算法提取所述图像信息的语义信息，包括：

存储所述图像信息至所述存储器；

所述神经网络处理器执行预存在所述存储器的人工智能程序实现所述预设算法，以识别所述图像信息中的所述语义信息。

作为其中一种实施方式，所述图像传感器还包括图像信号处理器，存储所述图像信息至所述存储器之前，还包括：

所述图像信号处理器对所述图像信息进行预处理；

输出处理后的所述图像信息，以存储至所述存储器。

作为其中一种实施方式，所述预处理包括黑电平消除、失效像素校正、图像降噪、彩色插值、缩放图像、去马赛克、白平衡以及伽马校正中的至少一项。

作为其中一种实施方式，所述处理方法还包括步骤：所述神经网络处理器还用于基于所述语义信息提取目标语义信息。

作为其中一种实施方式，所述神经网络处理器提取所述目标语义信息的方式包括：

将所述图像信息与预存在所述存储器的预设图像信息进行匹配；

若所述图像信息与所述预设图像信息一致，则确定所述预设图像信息对应的语义信息为所述目标语义信息。

作为其中一种实施方式，所述提取所述目标语义信息的方式包括：

根据所述预设算法提取所述图像信息中的手势数据、表情数据、目光数据中的至少一项得到所述目标语义信息。

为实现上述目的，本发明实施例第三方面提供一种终端，所述终端，包括至少一个处理器和至少一个存储器，所述存储器被耦合到所述处理器并且存储用于由所述处理器执行的指令，所述指令当由所述处理器执行时，使得所述终端执行如第二方面所述的图像处理方法。

作为其中一种实施方式，所述终端还包括执行机构，所述执行机构执行所述语义信息以实现所述终端的人工智能控制。

为实现上述目的，本发明实施例第四方面提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如第二方面所述的图像处理方法。

本发明采用以上的技术方案，与现有技术相比，具有如下有益效果：

本发明提供的图像传感器、图像处理方法、终端及计算机存储介质，图像传感器包括像素阵列、神经网络处理器以及存储器，其中，像素阵列用于获取图像信息；存储器用于存储图像信息及人工智能程序；神经网络处理器用于执行预存在存储器的人工智能程序，以提取图像信息的语义信息。本发明利用神经网络处理器的低功耗、低成本和高算力的特点，将神经网络处理器集成于图像传感器，使图像传感器能根据采集的图像信息直接输出对应的高级语义信息，提高对图像信息的处理效率。

附图说明

图1为现有技术中图像传感器的结构框图之一；

图2为现有技术中图像传感器的结构框图之二；

图3为本发明一实施例提供的图像传感器的结构框图；

图4为本发明一实施例提供的图像传感器的部分结构框图；

图5为本发明一实施例提供的图像处理方法的流程图；

图6为本发明一实施例提供的终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。在本专利说明书中“一个实施例”或“一实施方式”指的是结合实例中描述的特定特征、结构或特性包含于本发明的至少一个实施例中。特定特征、结构或特性可包含于集成电路、电子电路、组合逻辑电路或提供所描述功能性的其它适合组件中。另外，本说明书中仅描述了与本发明点相关联的内容，其它内容本领域技术人员可结合现有技术进行理解。

首先，为了更好的理解本发明，在具体描述本发明之前，先对本发明实施例涉及的图像传感器相关部分及本发明的发明构思进行大概描述。

请参考图1，图1为现有技术中一图像传感器的结构框图之一。如图1所示，CMOS图像传感器通常由像素阵列(Pixel Array)、AD转换器、图像信号处理模块(ISP,ImageSignal Processing)、时序控制模块(Timing Control)和数据总线输出接口(MIPI/DVP)等部分组成。像素阵列将现实场景中感受到的光转换成电信号，并通过AD转换器将电信号进一步转换为数字信号。图像信号处理模块对数字信号进行预处理以提升画质。之后通过MIPI接口或者DVP接口将电子图像输出至终端设备。时序控制模块用于图像传感器内的时间同步和各模块握手。

请参考图2，图2为现有技术中一图像传感器的结构框图之二。如图2所示，图像传感器包括与像素阵列101连接的读出电路102和控制电路104。功能逻辑单元103与读出电路102连接，用于对像素电路的读取进行逻辑控制。读出电路102和控制电路104与状态寄存器105连接，以实现对像素阵列101的读取控制。像素阵列101包括按行(R1，R2，R3…Ry)和列(C1，C2，C3…Cx)排布的多个像素单元，像素阵列101输出的像素信号经列线输出至读出电路104。每一像素单元获取图像数据后，图像数据采用状态寄存器105指定的读出模式通过读出电路102读出，然后传输到功能逻辑单元103。实际应用时，读出电路102可包括模数转换(ADC)电路、放大电路等。在某些应用实施例中，状态寄存器105可包含有程序化选择系统，用于确定读出系统是通过滚动曝光模式(rolling shutter)或是全局曝光模式(globalshutter)读出。功能逻辑单元103可存储图像数据，或存储通过图像效果应用或处理的图像数据。读出电路102可沿读出列线一次读出一行图像数据。控制电路104的操作可通过状态寄存器105的当前设置确定。例如，控制电路104产生一快门信号用于控制图像获取。在某些实施例中，此快门信号可以是一全局曝光信号使得像素阵列101的所有像素通过单一获取窗口同时获取其图像数据。在其他实施例中，此快门信号可以是一滚动曝光信号，每一像素行通过获取窗口连续实现读取操作。

从上述描述可知在图像传感器的工作过程中一般仅输出图像数据。如需对图像进行识别或信息提取，则需要通过其他设备进行下一步处理，操作不便。因此，本申请的实施例的技术方案通过将NPU(Neural Process Units,神经网络处理器)、存储器和CPU(Central Processing Unit,中央处理器)等模块集成在图像传感器中，使得图像传感器能在捕获场景图像后直接输出场景中的语义信息，提高对图像信息的处理效率。

基于上述描述，本发明实施例提供一种图像传感器。图3为本发明一实施例提供的图像传感器的结构框图。如图3所示，该图像传感器(AI image sensor)包括像素阵列(Pixel Array)、AD转换器、图像信号处理模块(ISP,Image Signal Processing)、时序控制模块(Timing Control)、数据总线输出接口(I2C)、神经网络处理器NPU、存储器和中央处理器CPU等部分组成，其中，

像素阵列(Pixel Array)，用于获取图像信息。

存储器，用于存储图像信息及人工智能程序。

神经网络处理器NPU，用于执行预存在存储器的人工智能程序，以提取图像信息的语义信息。

在另外的示例中，神经网络处理器还可以进一步用于基于语义信息提取目标语义信息。

作为示例，图像传感器还包括图像信号处理器，用于对图像信息进行预处理，存储器存储的图像信息为经过图像信号处理器处理后的图像信息。其中，神经网络处理器可以处理来自图像信号处理器中各阶段的信号数据，在一可选示例中，将图像信号处理器处理后的RAW域数据存储至存储器，以提取语义信息。

另外，中央处理器CPU至少与神经网络处理器通讯连接，用于任务规划和资源加载。

需要说明的是，像素阵列将现实场景中感受到的光转换成电信号，并通过AD转换器将电信号进一步转换为数字信号，得到电子图像。图像信号处理模块对电子图像进行预处理以提升画质，处理后的电子图像存储在存储器。NPU从存储器下载电子图像后，执行预先安装的人工智能程序，对图像进行识别。神经网络处理器基于卷积神经网络算法以输出语义信息。由于输出结果占用内存较小，可通过I2C接口输出至终端设备。

本实施例中，存储器可以是SRAM(Static Random-Access Memory，静态随机存取存储器)，DRAM(Dynamic Random-Access Memory，动态随机存取存储器)，SDRAM(Synchronous，同步动态随机存取存储器)，DPRAM(Dual Port Acess Memeory，双端口随机存储器)，FRAM(Ferroelecttric Random Acess Memory，铁电体存储器)等。

在一实施方式中，图像传感器包括第一芯片、第二芯片及中间互连层，其中：

像素阵列集成在第一芯片中；

神经网络处理器及存储器集成在第二芯片中；

中间互连层形成在第一芯片和第二芯片之间，以实现第一芯片和第二芯片中功能模块的电性连接。第二芯片中还包括模数转换模块、图像处理模块、中央处理器以及外围逻辑电路中的至少一种。例如，可以将NPU制作在另外一片晶圆上，同时，存储器和CPU可以与NPU制作在同一片晶圆上，形成堆叠的传感器芯片，减小图像传感器占用的空间。

请参考图4，在一示例中，神经网络处理器NPU由矩阵模块(Matrix)、矢量模块(Vector)、混合模块(MISC)、缓存模块(Cache)、数据模块(Data)和指令模块(Instruction)等模块组成。需要说明的是，在人工智能程序中：

矩阵模块，用于进行矩阵卷积运算；

矢量模块，用于进行矢量运算或加法运算；

混合模块，用于执行人工智能的通用功能，如深度卷积、池化、元素积等；

缓存模块，与矩阵模块、矢量模块及混合模块中的至少一者通讯连接，用于缓存内部数据以减少延迟；

数据模块，与存储器通讯连接，以基于数据模块自存储器下载数据至神经网络处理器，或者存储神经网络处理器数据至存储器；

指令模块，与存储器通讯连接，用于按顺序加载相关指令至对应的执行模块。

在一实施方式中，神经网络处理器具有介于64-65536个之间的MAC(MultiplyAccumulator,乘累加器)，频率介于30MHz-1GHz之间，运算能力介于0.04-128Tops(TeraOperations Per Second的缩写，1TOPS代表处理器每秒钟可进行一万亿次(10^12)操作)之间。NPU能运行许多常规地轻量型AI任务，如面部识别、手势识别和注视感知等。

在一具体示例中，NPU具有256个MAC，频率为300MHz，运算能力可达0.3Tops。

在一实施方式中，存储器大小为4Mbytes，用于存储图像和中间数据。在一实施方式中，CPU为微型控制器，其大小为32bit。其中，存储器和CPU还可以采用现有其他参数的设置，可以采用现有的存储数据及控制方式操作。

本发明实施例通过设计包含NPU的人工智能图像传感器，基于NPU使得芯片能直接输出语义信息。具体操作过程为，通过像素阵列捕获场景中的图像信息，经过芯片内部处理，将图像信息存储到存储器中，再经过NPU的处理输出获取的图像信息中语义信息对应的语义信息。其中，NPU输出过程可以是，存储器中预存预设图像信息，例如手势图像，将捕获的图像信息与手势图像进行比对，如果图像信息与手势图像一致，则输出对应的语义信息。当手势图像代表音量增大的指令，则输出音量增大的语义信息。实际实现时，可以是NPU处理上述任务，CPU响应任务流程计划实现调配。

综上所述，本发明提供的图像传感器，图像传感器包括神经网络处理器，通过像素阵列获取图像信息，神经网络处理器提取图像信息中的语义信息；以及，根据语义信息输出对应的语义信息。本方案利用神经网络处理器的低功耗、低成本和高算力的特点，将神经网络处理器集成于图像传感器，使得图像传感器能根据采集的图像信息直接输出对应的高级语义信息，提高对图像信息的处理效率。

本发明还提供一种图像处理方法包括，下面结合附图对本申请实施例的具体技术方案进行详细描述，请参考图5，图5为本发明一实施例提供的图像处理方法的流程图。如图5所示，该方法包括：

S201：像素阵列获取图像信息；

S202：神经网络处理器根据预设算法提取图像信息的语义信息。

在一实施方式中，图像传感器还包括存储器，神经网络处理器根据预设算法提取图像信息中的语义信息，包括：

存储图像信息至存储器；

神经网络处理器执行预存在存储器的人工智能程序实现预设算法，以识别图像信息中的语义信息。

需要说明的是，存储器中预存有预设图像信息及人工智能程序，NPU可以执行预存的人工智能程序，用于识别图像中的语义信息。神经网络处理器(下文简称NPU)执行人工智能程序时读取存储器中的图像信息。

在一实施方式中，图像传感器还包括图像信号处理器，存储图像信息至存储器之前，还包括：

图像信号处理器对图像信息进行预处理；

输出处理后的图像信息，以存储至存储器。

其中，预处理包括黑电平消除、失效像素校正、图像降噪、彩色插值、缩放图像、去马赛克、白平衡以及伽马校正中的至少一项。通过图像信号处理器对图像信息的预处理，得到高质量的RAW图像，便于提升后续图像识别过程中的准确度。其中，神经网络处理器可以处理来自图像信号处理器中各阶段的信号数据，在一可选示例中，将图像信号处理器处理后的RAW域数据存储至存储器，以提取语义信息。

在一实施方式中，神经网络处理器还用于基于语义信息提取目标语义信息。

在一实施方式中，神经网络处理器提取目标语义信息，包括：

将图像信息与预存在存储器的预设图像信息进行匹配；

若图像信息与预设图像信息一致，则确定预设图像信息对应的语义信息为目标语义信息。

在一实施方式中，提取目标语义信息的方式包括：

根据预设算法提取图像信息中的手势数据、表情数据、目光数据中的至少一项得到目标语义信息。

需要说明的是，预设算法可以是面部识别、手势识别和/或表情感知等人工智能算法。在存储器预存对应的面部图像、手势图像和/或表情图像作为预设图像信息。NPU读取存储器中在当前场景下捕获的图像信息，然后将图像信息与预存的预设图像进行比对，若存在与图像信息一致的预设图像信息，则确定图像信息包含语义信息。接着，NPU继续对图像信息进行处理，以提取图像信息中的语义信息。例如，像素阵列采集到一张人脸图像，将人脸图像与预存的面部图像进行匹配。若匹配到与人脸图像一致的预设图像，则提取预设图像对应的语义信息作为该人脸图像的语义信息。若未匹配到与人脸图像一致的预设图像，则可以按照程序设定继续进行表情感知，以匹配与该人脸图像一致的表情图像，进而提取对于的语义信息。

在一实施方式中，若图像信息与预设图像信息不一致，可直接输出图像信息的语义信息。

综上所述，本发明提供的图像处理方法，应用于图像传感器，图像传感器包括神经网络处理器，通过像素阵列获取图像信息，神经网络处理器提取图像信息中的语义信息；以及，根据语义信息输出对应的语义信息。本方案利用神经网络处理器的低功耗、低成本和高算力的特点，将神经网络处理器集成于图像传感器，使得图像传感器能根据采集的图像信息直接输出对应的高级语义信息，提高对图像信息的处理效率。

本发明还提供了一种终端，包括至少一个处理器和至少一个存储器，至少一个存储器被耦合到至少一个处理器并且存储用于由至少一个处理器执行的指令，指令当由至少一个处理器执行时，使得终端执行如上所述的图像处理方法。

在一种实施方式中，终端还包括执行机构，执行机构执行语义信息以实现终端的人工智能控制。例如，可以是得到的目标语义信息代表控制终端设备(如空调、电视机、风扇等)开机、停机或者音量增大减小等功能指令，则通过执行机构控制终端设备执行该指令。

图6为本发明一实施例提供的终端的结构示意图。如图6所示，终端600包括处理单元601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行本公开实施例的方法。处理单元601例如可以包括通用微处理器(例如CPU)、指令处理器和/或相关芯片组和/或专用微处理器(例如专用集成电路(ASIC))，等等。处理单元601还可以包括用于缓存用途的板载存储器。处理单元601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM603中，存储有终端600操作所需的各种程序和数据。处理单元601、ROM602以及RAM603中通过总线604彼此相连。处理单元601通过执行ROM602和/或RAM603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，上述程序也可以存储在除ROM602和RAM603以外的一个或多个存储器中。处理单元601也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，终端600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。终端600还可以包括连接至输入/输出(I/O)接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。此外，驱动器，可拆卸介质。诸如磁盘、光盘、磁光盘、半导体存储器等可也根据需要连接至输入/输出(I/O)接口605上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

根据本公开的实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品。其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被处理单元601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、客户端、装置、模块和单元等可以通过计算机程序模块来实现。

本申请还提供一种计算机存储介质，计算机存储介质上存储有计算机程序指令；计算机程序指令被处理器执行时实现如上所述的图像处理方法。

实际实现时，计算机存储介质应用于在图6所示的终端600中。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例方法及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定发明，任何熟悉本专业的技术人员，在不脱离发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离发明技术方案内容，依据发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (18)

1.一种图像传感器，其特征在于，包括：像素阵列、神经网络处理器以及存储器，其中，

所述像素阵列，用于获取图像信息；

所述存储器，用于存储所述图像信息及人工智能程序；

所述神经网络处理器，用于执行预存在所述存储器的所述人工智能程序，以提取所述图像信息的语义信息；

其中，所述图像传感器还包括图像信号处理器，用于对所述图像信息进行预处理，所述存储器存储的所述图像信息为经过所述图像信号处理器处理后的图像信息。

2.根据权利要求1所述的图像传感器，其特征在于，所述神经网络处理器还用于基于所述语义信息提取目标语义信息。

3.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括中央处理器，所述中央处理器至少与所述神经网络处理器通讯连接，用于任务规划和资源加载。

4.根据权利要求1所述的图像传感器，其特征在于，所述神经网络处理器基于卷积神经网络算法以输出所述语义信息。

5.根据权利要求4所述的图像传感器，其特征在于，所述神经网络处理器包括：

矩阵模块，用于进行矩阵卷积运算；

矢量模块，用于进行矢量运算或加法运算；

混合模块，用于执行人工智能的通用功能；

缓存模块，与所述矩阵模块、所述矢量模块及所述混合模块中的至少一者通讯连接，用于缓存内部数据以减少延迟；

数据模块，与所述存储器通讯连接，以基于所述数据模块自所述存储器下载数据至所述神经网络处理器，或者存储所述神经网络处理器数据至所述存储器；

指令模块，与所述存储器通讯连接，用于按顺序加载相关指令至对应的执行模块。

6.根据权利要求1所述的图像传感器，其特征在于，所述神经网络处理器具有介于64-65536个之间的MAC，频率介于30MHz-1GHz之间，运算能力介于0.04-128Tops之间。

7.根据权利要求1-6中任意一项所述的图像传感器，其特征在于，所述图像传感器包括第一芯片、第二芯片及中间互连层，其中：

所述像素阵列集成在所述第一芯片中；

所述神经网络处理器及所述存储器集成在所述第二芯片中；

所述中间互连层形成在所述第一芯片和所述第二芯片之间，以实现所述第一芯片和所述第二芯片中功能模块的电性连接。

8.根据权利要求7所述的图像传感器，其特征在于，所述第二芯片中还包括模数转换模块、图像处理模块、中央处理器以及外围逻辑电路中的至少一种。

9.一种图像处理方法，其特征在于，应用于图像传感器，所述图像传感器包括神经网络处理器，所述方法，包括：

像素阵列获取图像信息；

所述神经网络处理器根据预设算法提取所述图像信息的语义信息。

10.根据权利要求9所述的图像处理方法，其特征在于，所述图像传感器还包括存储器，所述神经网络处理器根据预设算法提取所述图像信息的语义信息，包括：

存储所述图像信息至所述存储器；

所述神经网络处理器执行预存在所述存储器的人工智能程序实现所述预设算法，以识别所述图像信息中的所述语义信息。

11.根据权利要求10所述的图像处理方法，其特征在于，所述图像传感器还包括图像信号处理器，所述存储所述图像信息至所述存储器之前，还包括：

所述图像信号处理器对所述图像信息进行预处理；

输出处理后的所述图像信息，以储存至所述存储器。

12.根据权利要求11所述的图像处理方法，其特征在于，所述预处理包括黑电平消除、失效像素校正、图像降噪、彩色插值、缩放图像、去马赛克、白平衡以及伽马校正中的至少一项。

13.根据权利要求9-12中任意一项所述的图像处理方法，其特征在于，所述处理方法还包括步骤：所述神经网络处理器还用于基于所述语义信息提取目标语义信息。

14.根据权利要求13所述的图像处理方法，其特征在于，所述神经网络处理器提取所述目标语义信息的方式包括：

将所述图像信息与预存在所述存储器的预设图像信息进行匹配；

若所述图像信息与所述预设图像信息一致，则确定所述预设图像信息对应的语义信息为所述目标语义信息。

15.根据权利要求13所述的图像处理方法，其特征在于，提取所述目标语义信息的方式包括：

根据所述预设算法提取所述图像信息中的手势数据、表情数据、目光数据中的至少一项得到所述目标语义信息。

16.一种终端，其特征在于，所述终端，包括至少一个处理器和至少一个存储器，所述存储器被耦合到所述处理器并且存储用于由所述处理器执行的指令，所述指令当由所述处理器执行时，使得所述终端执行如权利要求9至15任一项所述的图像处理方法。

17.根据权利要求16所述的终端，所述终端还包括执行机构，所述执行机构执行所述语义信息以实现所述终端的人工智能控制。

18.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令；所述计算机程序指令被处理器执行时实现如权利要求9至15中任一项所述的图像处理方法。

Images