CN111523350B - 图像识别方法及装置、存储介质、终端、图像识别系统 - Google Patents

Abstract

一种图像识别方法及装置、存储介质、终端、图像识别系统，所述图像识别方法包括：采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；当包含所述预设识别目标时，输出识别成功信息。通过本发明的技术方案，可以降低图像传感器的图像识别功耗，以减少终端功耗。

Description

图像识别方法及装置、存储介质、终端、图像识别系统

技术领域

本发明涉及图像识别技术领域，具体地涉及一种图像识别方法及装置、存储介质、终端、图像识别系统。

背景技术

典型图像采集设备(例如，摄像机)需要持续采集图像信息。基本流程如下：图像传感器(例如，互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductortransistor，简称CMOS)传感器)采集图像信息，所述图像信息通常为拜耳(Bayer)未经加工图像(Raw)格式数据。之后，通过通用接口传输至图像处理芯片，所述图像处理芯片将Raw格式数据转换为红、绿、蓝(Red，Green，Blue，简称RGB)色彩格式或其他格式，并进行图像识别或视频编码处理。其中，所述通用接口可以包括移动行业处理器接口(Mobile IndustryProcessor Interface，简称MIPI)、显示串行接口(Display Serial Interface，简称DSI)和摄像机串行接口(Camera Serial Interface，简称CSI)等。

在图像采集设备中，为了采集尽量多的图像信息，通常希望图像传感器具有高分辨率。目前主流摄像机均采用1080逐行扫描(即1080P)或高于1080P的分辨率，像素数量达到1920×1080，色彩包括红、绿、蓝(RGB)三个通道，视频帧率一般为30帧/秒，视频数据流带宽为1920×1080×3×30≈186兆比特每秒(million bits per second，简称Mbps)。

然而，在很多领域中，如安防监控领域，图像传感器拍摄的很多内容均可视为无效信息。即使可以通过神经网络处理有用信息，图像传感器与视频处理芯片之间传输的数据也无法减少，持续的视频处理既浪费系统功耗又占用存储资源。尤其是在物联网(Internetof Things，简称IOT)领域，一方面，图像识别作为人机交互的基本接口，图像识别功能功耗较高，应用空间受限，电池供电时无法做到“always-on(永远在线)”；另一方面，图像处理器需要持续工作，无法进行深度待机，无法实现低功耗唤醒功能。图像识别基本功能消耗的功耗及系统成本过高，极大地限制了图像处理的应用场景。

发明内容

本发明解决的技术问题是如何降低图像传感器的图像识别功耗，以减少终端功耗。

为解决上述技术问题，本发明实施例提供一种图像识别方法，包括：采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；当包含所述预设识别目标时，输出识别成功信息。

可选的，所述识别所述图像信息中的N个图像通道包括：利用神经网络识别所述图像信息中的N个图像通道。

可选的，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。

可选的，所述图像信息为数字图像，所述神经网络为数字神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：利用所述数字神经网络，识别所述数字图像中的N个图像通道。

可选的，所述图像识别方法还包括：当输出识别成功信息时，触发所述预设识别目标关联的控制信号。

可选的，在触发所述预设识别目标关联的控制信号之后，所述图像识别方法还包括：响应于所述控制信号，从待机模式转为工作模式。

可选的，所述图像识别方法还包括：响应于所述控制信号，切换图像分辨率模式，切换后的图像分辨率高于当前图像分辨率。

可选的，所述预设识别目标为预设人员，在切换图像分辨率模式之后，所述图像识别方法还包括：基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

为解决上述技术问题，本发明实施例还提供一种图像识别装置，包括：光电转换模块，适于采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别模块，适于识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；输出模块，适于当包含所述预设识别目标时，输出识别成功信息。

可选的，所述识别模块包括：神经网络处理子模块，适于利用神经网络识别所述图像信息中的N个图像通道。

可选的，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述神经网络处理子模块包括：模拟神经网络处理单元，适于利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。

可选的，所述图像信息为数字图像，所述神经网络为数字神经网络，所述神经网络处理子模块包括：数字神经网络处理单元，适于利用所述数字神经网络，识别所述数字图像中的N个图像通道。

可选的，所述图像识别装置还包括：触发模块，适于当输出识别成功信息时，触发所述预设识别目标关联的控制信号。

可选的，所述图像识别装置还包括：转换模块，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，从待机模式转为工作模式。

可选的，所述图像识别装置还包括：切换模块，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，切换图像分辨率模式，切换后的图像分辨率高于当前图像分辨率。

可选的，所述预设识别目标为预设人员，所述图像识别装置还包括：确定模块，适于在切换图像分辨率模式之后，基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

为解决上述技术问题，本发明实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。

为解决上述技术问题，本发明实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。

为解决上述技术问题，本发明实施例还提供一种图像识别系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

本发明实施例提供一种图像识别方法，包括：采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；当包含所述预设识别目标时，输出识别成功信息。通过本发明实施例提供的技术方案，可以通过识别图像通道数量较少的图像信息，减少存储量，降低处理数据量，有利于节省终端功耗。进一步，有利于降低系统成本，扩展图像识别应用领域。

进一步，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。通过本发明实施例提供的技术方案，可以将图像通道数量较少的图像信息输入至低功耗的模拟神经网络直接处理有用信息，进而能够进一步压缩数据存储量，降低设备功耗，从而可以延长待机时长。

进一步，所述图像信息为数字图像，所述神经网络为数字神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：利用所述数字神经网络，识别所述数字图像中的N个图像通道。通过本发明实施例提供的技术方案，可以进一步降低设备功耗，为延长待机时长提供可能。

进一步，在触发所述预设识别目标关联的控制信号之后，所述图像识别方法还包括：响应于所述控制信号，从待机模式转为工作模式。通过本发明实施例提供的技术方案，可以在识别到感兴趣图像内容时，从待机模式转为工作模式，进一步为实现低功耗的图像识别、系统待机提供可行方案。

附图说明

图1是现有技术中的一种图像识别方法的系统的结构框图；

图2是本发明实施例的一种图像识别方法的流程示意图；

图3是一种用于执行本发明实施例的图像识别方法的系统的结构框图；

图4是本发明实施例的一种典型应用场景的示意图；

图5是本发明实施例的一种图像识别装置的结构示意图。

具体实施方式

本领域技术人员理解，如背景技术所言，基于现有技术进行图像识别，其终端功耗高，应用范围小。

本申请发明人经研究发现，可以使用被动红外传感器(Passive InfraredSensor，简称PIR)进行人体检测，在检测到人体时，唤醒设备，可以节省功耗，但用途单一。

现有技术中，由于图像采集设备需要采集尽量多的图像信息，图像传感器希望拥有尽可能高的分辨率，目前主流监控摄像机均采用1080P以上分辨率，像素数量达到1920x1080，色彩分为红、绿、蓝(RGB)三个通道，视频帧率一般为30帧/秒(frame persecond，简称fps)，视频数据流带宽为：1920×1080×3×30≈186Mbps。

然而，在现有的支持神经网络加速的视频采集设备或芯片中，需要实时传输如此大带宽的数据，并进行神经网络计算，会消耗大量的电能，而且无法进行休眠。

现有技术中，对目前的人工智能图像采集识别系统而言，需要将图像传感器(例如，CMOS传感器)采集的原始信息经过一系列变换才能转换为人类能够识别的图像，再经由深度学习训练出特定神经网络，从而实现智能识别。其中，人工智能的广泛应用主要在于人脸识别、人形识别、物体检测等功能。

在现有支持神经网络加速的视频采集设备或芯片中，尽管可以使用CMOS图像传感器结合神经网络处理器芯片实现图像识别，实现仅录制感兴趣的视频，但需要实时传输大带宽数据(例如，186Mbps)，并进行神经网络计算，将会消耗大量的电能，而且所述视频采集设备或芯片无法休眠。

图1是现有技术中的一种图像识别方法的系统的结构框图。本申请发明人经研究发现，如图1所示，现有技术中，图像传感器通过光电转换模块11集成模拟数字转换模块12采集图像数据，之后将采集到的图像数据传输至图像信号处理(Image SignalProcessing，简称ISP)模块13(图示为ISP模块)进行图像处理，之后，通过神经网络处理模块14识别图像，以得到识别结果。其缺陷在于数据传输量大，占用存储空间。在图像处理之后识别图像，消耗功耗大。

本发明实施例提供一种图像识别方法，包括：采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；当包含所述预设识别目标时，输出识别成功信息。通过本发明实施例提供的技术方案，可以通过识别图像通道数量较少的图像信息，减少存储量，降低处理数据量，有利于节省终端功耗。进一步，有利于降低系统成本，扩展图像识别应用领域。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

通常情况下，欣赏图像内容如看电视、电影、玩视频游戏时，需要尽可能高的图像分辨率，以使人可以感知更多的视觉细节内容。但是，在某些应用领域中，例如，通过视频画面分辨一个特定区域内是否有人或特定物体时，并不需要太高的分辨率。在对神经网络训练之后，可以在较低分辨率条件下，依靠神经网络识别出人形、物体形状等。

图2是本发明实施例的一种图像识别方法的流程示意图。所述图像识别方法可以采用低分辨率的传感器实施。具体而言，所述图像识别方法可以包括以下步骤：

步骤S201，采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；

步骤S202，识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；

步骤S203，当包含所述预设识别目标时，输出识别成功信息。

更具体而言，在步骤S201中，可以采用低分辨率图像传感器中的光电转换模块采集图像信息。所述图像信息可以包括M个图像通道(或简称为通道)，M为大于1的正整数。例如，所述图像信息为RGB图像，包括M＝3个图像通道。

图像通道是图像的组成部分，是与图像的格式密不可分的。图像颜色、格式的不同决定了图像通道的数量和模式。在本发明实施例中，所述图像通道可以是RGB图像的三种原色通道，即红、绿、蓝。

在步骤S202中，可以仅识别所述图像信息中的部分图像通道，例如，N个图像通道，N<M,且N为正整数。尽管N的值越小，图像信息的辨率越低，但是单个图像通道仍然可以确定所述图像信息是否包含预设识别目标。其中，所述预设识别目标可以是特定的人或物。

在具体实施中，可以采用神经网络识别所述图像信息中的N个图像通道。需要说明的是，利用神经网络识别图像信息，需要使用图像传感器采集原始信息，进行神经网络的训练，通过深度学习训练，使得特定的神经网络能够识别预设识别目标，例如，人脸、人形、物体等，从而使采用此技术的传感器可以无需浪费功耗及性能，便可实现智能图像识别。

在具体实施中，如果通过光电转换模块获取到的图像信息是模拟图像，那么可以利用模拟神经网络识别所述模拟图像中的N个图像通道。为降低数据处理量，N的值可以为1。

作为一个变化例，如果光电转换模块集成有模拟数字转换器，所述光电转换模块采集到的图像信息是数字图像，为Raw数据，那么可以利用数字神经网络，直接识别所述数字图像中的N个图像通道。为降低数据处理量，N的值仍然可以为1。

在步骤S203中，如果所述图像信息包含所述预设识别目标，那么可以输出识别成功信息。在具体实施中，所述识别成功信息可以为包含所述预设识别目标的图像截图、预设识别目标的其他信息。如果所述图像信息中不包含所述预设识别目标等感兴趣内容，那么所述图像传感器可以保持低分辨率模式采集图像信息，继续进行图像识别检测。

进一步，在输出识别成功信息时，可以触发所述预设识别目标关联的控制信号。在具体实施中，如果触发所述控制信号，则可以将图像传感器从低分辨率模式切换至高分辨率模式，或者，从待机模式切换为工作模式。

作为一个非限制性的例子，在视频监控摄像设备中，采用本发明实施例，可以使视频监控摄像设备长期保持待机状态。仅当检测到感兴趣的预设识别目标时，通过控制信号唤醒图像处理芯片，进行正常的视频采集及识别，这样可以降低系统的整体功耗。

例如，所述预设识别目标可以为预设人员，如果通过低分辨率模式识别到人形，那么可以在检测到人形之后，触发控制信号，以将所述低分辨率模式切换为高分辨率模式。之后，可以基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

作为一个变化例，可以在需要与人进行交互的场景中，可以采用低分辨率模式进行图像检测，在检测到人形后，可以利用控制信号唤醒后端系统进行进一步人员信息识别及交互。可见，采用本发明实施例可以使物联网终端设备具有低功耗的视觉交互功能，延长识别服务时间，减小电池更换频率。

例如，

在一个具体实施例中，参考图3，可以采用光电转换模块31集成模拟神经网络处理模块32，实现低分辨率图像传感器的图像采集及识别。具体而言，所述光电转换模块31可以用于采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；所述模拟神经网络处理模块32可以用于识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数。进一步，在包含所述预设识别目标时，将输出识别成功信息。例如，所述光电转换模块31可以采用低分辨率采集图像，并将单色彩图像作为所述模拟神经网络处理模块32的输入进行识别。如仅用192×108像素分辨率。在具体实施中，使用光电转换模块31得到的数据直接输入至模拟神经网络处理模块32。所述模拟神经网络处理模块32可以仅使用其中一个图像通道的色彩信号进行识别，极大地降低采集信号需求，从而降低处理数据量。例如，采集的图像信息分辨率为192×108，单通道色彩，1帧/秒，数据带宽为：192×108×1×1≈20kbps，该数据处理带宽仅为186Mbps的1/9000，这将极大地降低数据处理量，节省功耗。

在一个典型的应用场景中，参考图4，采用本实施例的安防系统400中安装有摄像头401，所述摄像头401可以采用低分辨率进行图像采集，并可以将单个图像通道的数据输入至模拟神经网络(图未示出)进行图像识别。

当所述模拟神经网络识别到人形402时，所述安防系统400可以输出识别成功信息，并触发控制信号，以使摄像头401从低分辨率切换为高分辨率进行图像采集，并进行后续处理。例如，在后续处理中，可以采用人脸识别技术识别所述人形402的身份。

由上，通过本发明实施例提供的技术方案，可以减少传感器的图像识别功耗，延长传感器使用时间，以减少终端功耗。

图5是本发明实施例的一种图像识别装置的结构示意图，所述图像识别装置5可以用于物联网中，实施图2所示方法技术方案。

具体地，所述图像识别装置5可以包括：光电转换模块51，适于采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；识别模块52，适于识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；输出模块53，适于当包含所述预设识别目标时，输出识别成功信息。

在具体实施中，所述识别模块52可以包括：神经网络处理子模块521，适于利用神经网络识别所述图像信息中的N个图像通道。

作为一个非限制性的例子，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述神经网络处理子模块521可以包括：模拟神经网络处理单元5211，适于利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。

作为一个变化例，所述图像信息为数字图像，所述神经网络为数字神经网络，所述神经网络处理子模块521可以包括：数字神经网络处理单元5212，适于利用所述数字神经网络，识别所述数字图像中的N个图像通道。

在具体实施中，所述图像识别装置5还可以包括：触发模块54，适于当输出识别成功信息时，触发所述预设识别目标关联的控制信号。

在具体实施中，所述图像识别装置5还可以包括：转换模块55，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，从待机模式转为工作模式。

在具体实施中，所述图像识别装置5还可以包括：切换模块56，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，切换图像分辨率模式，切换后的图像分辨率高于当前图像分辨率。

在具体实施中，所述预设识别目标为预设人员，所述图像识别装置5还可以包括：确定模块57，适于在切换图像分辨率模式之后，基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

关于所述图像识别装置5的工作原理、工作方式的更多内容，可以一并参照上述图2至图4中的相关描述，这里不再赘述。

进一步地，本发明实施例还公开一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述图2至图4所示实施例中所述方法技术方案。优选地，所述存储介质可以包括诸如非挥发性(non-volatile)存储器或者非瞬态(non-transitory)存储器等计算机可读存储介质。所述存储介质可以包括ROM、RAM、磁盘或光盘等。

进一步地，本发明实施例还公开一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图2至图4所示实施例中所述的方法技术方案。优选地，所述终端可以为图像传感器、摄像头等。

进一步地，本发明实施例还公开一种图像识别系统，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述图2至图4所示实施例中所述的方法技术方案。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (15)

1.一种图像识别方法，其特征在于，包括：

采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；

识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；

当包含所述预设识别目标时，输出识别成功信息；

当输出识别成功信息时，触发所述预设识别目标关联的控制信号；

在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，切换图像分辨率模式，切换后的图像分辨率高于当前图像分辨率。

2.根据权利要求1所述的图像识别方法，其特征在于，所述识别所述图像信息中的N个图像通道包括：

利用神经网络识别所述图像信息中的N个图像通道。

3.根据权利要求2所述的图像识别方法，其特征在于，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：

利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。

4.根据权利要求2所述的图像识别方法，其特征在于，所述图像信息为数字图像，所述神经网络为数字神经网络，所述利用神经网络识别所述图像信息中的N个图像通道包括：

利用所述数字神经网络，识别所述数字图像中的N个图像通道。

5.根据权利要求1所述的图像识别方法，其特征在于，在触发所述预设识别目标关联的控制信号之后，还包括：

响应于所述控制信号，从待机模式转为工作模式。

6.根据权利要求1所述的图像识别方法，其特征在于，所述预设识别目标为预设人员，在切换图像分辨率模式之后，所述图像识别方法还包括：

基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

7.一种图像识别装置，其特征在于，包括：

光电转换模块，适于采集图像信息，所述图像信息包括M个图像通道，M为大于1的正整数；

识别模块，适于识别所述图像信息中的N个图像通道，以确定所述图像信息是否包含预设识别目标，N<M，且N为正整数；

输出模块，适于当包含所述预设识别目标时，输出识别成功信息；

触发模块，适于当输出识别成功信息时，触发所述预设识别目标关联的控制信号；

切换模块，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，切换图像分辨率模式，切换后的图像分辨率高于当前图像分辨率。

8.根据权利要求7所述的图像识别装置，其特征在于，所述识别模块包括：神经网络处理子模块，适于利用神经网络识别所述图像信息中的N个图像通道。

9.根据权利要求8所述的图像识别装置，其特征在于，所述图像信息为模拟图像，所述神经网络为模拟神经网络，所述神经网络处理子模块包括：

模拟神经网络处理单元，适于利用所述模拟神经网络，识别所述模拟图像中的N个图像通道。

10.根据权利要求8所述的图像识别装置，其特征在于，所述图像信息为数字图像，所述神经网络为数字神经网络，所述神经网络处理子模块包括：

数字神经网络处理单元，适于利用所述数字神经网络，识别所述数字图像中的N个图像通道。

11.根据权利要求7所述的图像识别装置，其特征在于，还包括：

转换模块，适于在触发所述预设识别目标关联的控制信号之后，响应于所述控制信号，从待机模式转为工作模式。

12.根据权利要求7所述的图像识别装置，其特征在于，所述预设识别目标为预设人员，所述图像识别装置还包括：

确定模块，适于在切换图像分辨率模式之后，基于切换后的图像分辨模式，利用人形识别技术和/或人脸识别技术确定识别结果。

13.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至6中任一项所述的方法的步骤。

14.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至6中任一项所述的方法的步骤。

15.一种图像识别系统，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至6中任一项所述的方法的步骤。

Images