CN110348422A - 图像处理方法、装置、计算机可读存储介质和电子设备 - Google Patents

Abstract

公开了一种图像处理方法、装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该方法包括：获取待检测图像；通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模；根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。本方案解决了相关技术中图像处理方法耗能较大或识别结果不准确的问题。

Description

图像处理方法、装置、计算机可读存储介质和电子设备

技术领域

本发明涉及图像处理技术领域，具体涉及一种图像处理方法、装置、计算机可读存储介质和电子设备。

背景技术

计算机视觉一直以来都是一个热门的研究领域。传统的研究内容主要集中在根据图像特点人工设计不同的特征，如边缘特征、颜色特征、尺度不变特征等。利用这些特征完成特定的计算机视觉任务，如图像分类、图像聚类、图像分割、目标检测、目标追踪等。传统的图像特征依赖于人工设计，一般为比较直观的初级特征，抽象程度较低，表达能力较弱。神经网络方法利用大量的图像数据，完全自动地学习特征。在神经网络中，各层特征形成了边缘、线条、轮廓、形状、对象等的层次划分，抽象程度逐渐提高。

虽然基于神经网络的图像处理技术在技术理论上已经比较成熟，但是如何有效地实现商业应用并合理利用，仍然是一个亟待解决的技术难题。

发明内容

本申请的实施例提供了一种图像处理方法、装置、计算机可读存储介质及电子设备，可用于解决相关技术中的问题。

根据本申请的一个方面，提供了一种图像处理方法，包括：获取待检测图像；通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模；根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。

根据本申请的第二方面，提供了一种图像处理装置，包括：获取模块，用于获取待检测图像；规模确定模块，用于通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模；图像处理模块，用于根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的图像处理方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：处理器和用于存储所述处理器可执行指令的存储器，所述处理器用于执行上述任一所述的图像处理方法。

本申请实施例提供的技术方案至少可以带来如下有益效果：

通过与待检测图像所在场景的规模对应的神经网络模型对所述待检测图像进行处理，实现待检测图像所在场景的规模与神经网络模型的计算复杂度相匹配，避免通过计算复杂度高的神经网络模型处理场景规模较小的图像，以及避免通过计算复杂度低的神经网络模型处理场景规模较大的图像，进而确保采用合适的神经网络模型处理待检测图像，在提高神经网络模型的处理效率的同时，还能确保待检测图像的识别精度，进而降低执行神经网络模型运算的硬件设备的耗电量。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请的实施例所提供的一种图像处理场景的示意图。

图2a和图2b分别是本申请的实施例所提供的一种图像处理场景中的待检测图像。

图3是本申请一示例性实施例提供的图像处理方法的流程示意图。

图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。

图5是本申请一示例性实施例提供的图像处理装置的框图。

图6a和图6b是图5所示的图像处理装置中的规模确定模块的框图。

图7是本申请一示例性实施例提供的电子设备的结构示意图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

申请概述

随着深度学习的发展，如何在实际应用场景中有效地利用深度学习技术进行图像识别、图像检测等，已经成了亟待解决的问题。例如，在商场、酒店、学校、火车站及城市交通道路等场景，常常需要对这些场景中的人、车等进行检测，以对这些场景进行监测和控制。或者，在企业、飞机场等出入口，往往需要对人脸进行识别，以进行身份验证。在这些场景中，有的场景规模较大，例如火车站及城市交通道路等场景下，人、车流较多且涉及的空间范围也较广；有的场景规模较小，例如企业出入口、酒店走廊等场景下，人、车流的数量一般比较固定且有限，涉及的空间范围也比较小。另外，在这些场景下执行图像识别、图像检测等功能的往往是终端设备，这些终端设备通常利用其预先部署的固定的神经网络模型进行多种场景下的图像处理，需要消耗一定的电能等资源，但其往往部署在室外，不能从外部获得稳定的电能等资源，且其自身可存储的电能等资源是有限的。因此，需要根据不同规模大小的场景，自适应地运行与场景的规模相应的深度学习算法来实现对这些场景中的图像或视频进行图像识别、图像检测等功能，以使得识别结果准确并减少耗电量。

针对上述问题，本申请实施例提供了一种图像处理方法，该方法通过与待检测图像所在场景的规模对应的神经网络模型对所述待检测图像进行处理，实现待检测图像所在场景的规模与神经网络模型的计算复杂度相匹配，避免通过计算复杂度高的神经网络模型处理场景规模较小的图像，以及避免通过计算复杂度低的神经网络模型处理场景规模较大的图像，进而确保采用合适的神经网络模型处理待检测图像，在提高神经网络模型的处理效率的同时，还能确保待检测图像的识别精度，进而降低执行神经网络模型运算的硬件设备的耗电量。

示例性系统

图1是本申请的实施例所提供的一种图像处理场景的示意图。该图像处理场景中可以包括多个终端设备110。终端110具备摄像头，可以获取图1中所示的多个场景中的待检测图像，例如商场、公司出入口、学校、游乐场、机场等场景中的包括人脸的待检测图像。当然，本申请实施例中的终端110还可以获取其他场景中的待检测图像，且待检测图像不限于包括人脸，还可以包括车辆、物品等其他目标物，本申请实施例对此不作限定。

终端110可以是手机、游戏主机、平板电脑、照相机、摄像机等移动终端设备，或者，终端110也可以是膝上型便携计算机等等。本领域技术人员可以知晓，上述终端110的数量可以为一个或大于一个，多个终端110的类型可以相同或者不同。本申请实施例对终端的数量和设备类型不加以限定。

终端110中部署有计算复杂度不同的神经网络模型，用于进行图像处理。在一实施例中，终端110通过计算复杂度比较大的神经网络模型处理规模较大的场景中的待检测图像，例如如图2a所示的图像。示例地，终端110通过计算复杂度较小的神经网络模型处理规模较小的场景中的待检测图像，例如如图2b所示的图像。在一实施例中，神经网络模型的层数越多、参数量越多，神经网络模型的计算复杂度越大。示例地，规模较小的场景中的待检测图像所包含的目标物的数量较少和/或目标物的像面尺寸较大，更容易被终端设备所检测；反之，规模较大的场景中的待检测图像所包含的目标物的数量较多和/或目标物的像面尺寸较小，更难以被终端设备所检测。

另外，终端110还可以与服务器(图中未示出)之间通过通信网络相连。终端110可以将其获取到的待检测图像或者图像处理结果等发送给服务器，以使服务器判断终端110所得到的图像处理结果是否准确。终端110还可以从服务器中获取计算复杂度更大的神经网络模型，以更新终端110中所存储的神经网络模型，并利用从服务器中获取的计算复杂度更大的神经网络模型以处理规模更大的场景中的待检测图像。

示例性方法

图3是本申请一示例性实施例提供的图像处理方法的流程示意图。该方法可以应用于如图1所示的图像处理场景中，由上述图1中所示的终端设备110执行，但本申请实施例不以此为限。在一实施例中，终端设备110中部署有至少一个神经网络模型，通过该神经网络模型完成图像识别、图像检测等功能。示例地，该至少一个神经网络模型为经过大量数据训练形成的。

如图3所示，该方法可以包括如下步骤310、步骤320和步骤330。

步骤310，获取待检测图像。

终端设备可以部署于图1中所示的场景，该场景中例如包括人、物品、车、道路等目标物。终端设备通过对其所在的场景进行拍摄，得到该待检测图像。或者该终端设备从本地存储的数据中获取，或者还可以通过从互联网中获取其他设备所在场景下的待检测图像等等，本申请对此不加以限定。例如，在通过对终端设备所在的场景进行拍摄得到待检测图像的过程中，终端设备可以调用摄像组件对其所处的场景进行拍摄，将拍摄得到的图像或者拍摄得到视频流中的某帧图像作为待检测图像。该摄像组件可以包括：终端设备上所配置的摄像头或者与终端设备相连接的摄像设备等。

步骤320，通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模。

在一实施例中，终端设备中预先部署有至少一个神经网络模型，该至少一个神经网络模型中包括第一神经网络模型。可选地，第一神经网络模型的网络类型可以为卷积神经网络(Convolutional Neural Network，CNN)、深度神经网络(Deep Neural Network，DNN)或循环神经网络(Recurrent Neural Network，RNN)等，本申请实施例对第一神经网络模型的网络类型不作限定。

通过该第一神经网络模型以对待检测图像进行检测，可以确定待检测图像所在场景的规模。在一实施例中，可以根据待检测图像中所包含的目标物来确定待检测图像所在场景的规模。例如目标物的检测、识别准确率越低，说明待检测图像所在场景的规模越大，当目标物的检测准确率和/或识别准确率低于一识别特定值时，确定待检测图像所在场景的规模为大规模场景。当目标物的检测准确率和/或识别准确率高于该识别特定值时，确定待检测图像所在场景的规模为小规模场景。

步骤330，根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。

在一实施例中，终端设备中部署的不同计算复杂度的神经网络模型用于处理不同规模大小的场景下的待检测图像。例如计算复杂度高的神经网络模型对应于大规模场景，用于处理大规模场景下的待检测图像；计算复杂度低的神经网络模型对应于小规模场景，用于处理小规模场景下的待检测图像。在同一种网络结构下，神经网络模型的层数越多、参数量越大，神经网络模型的计算复杂度越大，例如，对于深度残差网络(Deep ResidualNetwork，ResNet)而言，ResNet50、ResNet101和ResNet152分别有50、101和152个网络层，ResNet50、ResNet101和ResNet152的参数量也依次增大，因而ResNet50、ResNet101和ResNet152的网络计算复杂度依次增加，图像处理的准确率也依次增高。对于不同种网络结构，也可以确定图像处理准确率更高的神经网络模型为计算复杂度更大的神经网络模型。

在另一实施例中，终端设备中部署的不同网络结构的神经网络模型用于处理不同规模大小的场景下的待检测图像，本申请实施例并不对场景的规模与神经网络模型的对应关系作限定。示例地，还可以将谷歌网络(GoogleNetwork，GoogLeNet)、SqueezeNet或MobileNet与小规模场景对应，用于处理小规模场景下的待检测图像。将深度残差网络(Deep Residual Network，ResNet)与大规模场景对应，用于处理大规模场景下的待检测图像。

在一实施例中，终端设备中预先部署的至少一个神经网络模型的网络结构不同和/或计算复杂度不同，该至少一个神经网络模型中包括第二神经网络模型。网络结构不同和/或计算复杂度不同的神经网络模型往往计算开销也不同，通常会具备不同的耗电量。该第二神经网络模型与特定规模的场景对应，用于处理该特定规模下的待检测图像，例如该特定规模的场景可以为大规模场景、小规模场景或其他预设规模下的场景。终端设备通过第一神经网络模型检测该待检测图像，确定待检测图像所在场景的规模，并且终端设备还通过选取与待检测图像所在场景的规模对应的第二神经网络模型，对该待检测图像进行处理。

在一实施例中，对该待检测图像进行处理，例如为对该待检测图像机芯图像分类、图像识别、图像检测、图像分割、关键点检测等计算机视觉处理，本申请实施例对此不作限定。

本申请实施例的图像处理方法，通过与待检测图像所在场景的规模对应的神经网络模型对所述待检测图像进行处理，实现待检测图像所在场景的规模与神经网络模型的计算复杂度相匹配，避免通过计算复杂度高的神经网络模型处理场景规模较小的图像，以及避免通过计算复杂度低的神经网络模型处理场景规模较大的图像，进而确保采用合适的神经网络模型处理待检测图像，在提高神经网络模型的处理效率的同时，还能确保待检测图像的识别精度，进而降低执行神经网络模型运算的硬件设备的耗电量。

图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。该方法可以应用于如图1所示的图像处理场景中，由上述图1中所示的终端设备110执行，但本申请实施例不以此为限。

如图4所示，该方法可以包括如下步骤410、步骤420、步骤430、步骤440、步骤450和步骤460。

步骤410，获取待检测图像。

该步骤与上文图3所示的实施例中的步骤310相似，在此不再赘述。

步骤420，通过第一神经网络模型确定待检测图像中目标物的像面尺寸和/或目标物的数量。

在一实施例中，终端设备中部署有第一神经网络模型，该第一网络模型为计算复杂度较大的神经网络模型，既可以识别规模较小下的待检测图像，也可以识别规模较大的场景下的待检测图像，同时可以保证较高的识别准确率。计算复杂度大的神经网络模型相较于计算复杂度小的神经网络模型，一般具有更多的参数量和网络层数，计算准确率更高，同时计算消耗也较大，会耗费更多电能。第一神经网络模型的网络类型可以为上文中已描述过的网络类型外，还可以为其他的网络类型，在此不再赘述。本申请实施例对第一神经网路模型的网络结构不作限定，其例如可以为深度残差网络(Deep Residual Network，ResNet)、密集卷积网络(Dense Convolutional Network，DenseNet)等。另外，第一神经网络模型的数量可以为一个或者多个，多个第一神经网络模型的网络类型、网络结构可以相同或者不同，本申请对此不作限定。

在通过第一神经网络模型确定待检测图像中目标物的像面尺寸时，可以根据待检测图像中的目标物占待检测图像的比例来确定待检测图像中目标物的像面尺寸，目标物在待检测图像中占有的比例越大，该目标物的像面尺寸越大。例如，对于大小为800*1200的待检测图像，其中的目标物为人脸A和人脸B,800、1200分别代表该待检测图像在高度和宽度上的像素数，若其中A人脸的大小为50*25，B人脸的大小为60*30，则人脸B在该待检测图像中所占的比例为60*30/800*1200，大于人脸A在该待检测图像中所占的比例50*25/800*1200，因此可以确定人脸B的像面尺寸大于人脸A的像面尺寸。第一神经网络模型在对待检测图像进行检测时，会通过检测框的形式确定出该待检测图像中的目标物，类似地，还可以根据该检测框的大小和/或该检测框占该待检测图像的比例来确定目标物的像面尺寸，但本申请实施例对此不作限定，还可以通过其他方式确定目标物的像面尺寸。

待检测图像中目标物的数量，可以直接根据第一神经网络模型所检测出的目标物的个数来确定。

步骤430，根据待检测图像中目标物的像面尺寸和/或目标物的数量，确定待检测图像所在场景的规模。

在一实施例中，待检测图像目标物的像面尺寸越小和目标物的数量越多，确定待检测图像所在场景的规模越大。在另一实施例中，待检测图像目标物的像面尺寸越小或目标物的数量越多，确定待检测图像所在场景的规模越大。一般地，待检测图像所在场景的规模越大，利用神经网络模型对其进行识别的难度越大，所需要消耗的计算量更大，准确率更低。示例地，可以用计算复杂度较大的神经网络模型对此种大规模场景下的待检测图像进行图像检测，以提高检测的准确率。

在一实施例中，可以根据预设时间间隔，周期性的执行以上步骤420和步骤430来确定所述待检测图像所在场景的规模。也即，根据预设时间间隔，通过所述第一神经网络模型检测该待检测图像，确定该待检测图像所在场景的规模。预设时间间隔可以为一个月、一周、6个小时或者一个季度等，其可以根据不同的场景或者不同的需求等设计，本申请实施例对此不作限定。例如，对于设置于学校场景下的终端设备，可以将终端设备设置为每周一和周六，获取学校场景下的待检测图像，并通过第一神经网络模型检测该待检测图像，确定该待检测图像所在的学校场景的规模。

步骤440，判断场景的规模为第一规模，或者场景的规模为第二规模？

在一实施例中，当待检测图像所在场景的规模小于或等于第一特定值时，确定场景的规模为第一规模，当待检测图像所在场景的规模大于第二特定值时，确定场景的规模为第二规模，第一特定值小于等于该第二特定值。此时，可以将第一规模下的场景设置为小规模下的场景，第二规模下的场景为较大规模下的场景。本领域的技术人员可以根据实际应用情况，将第一特定值和第二特定值设置为合适的值，本申请实施例对此不作限定。

需要说明的是，待检测图像所在场景的规模不限于为第一规模或第二规模，还可以根据具体情况将场景的规模划分为更多种情形，本申请实施例对此不作限定。例如，当场景的规模大于第三特定值，该第三特定值大于或等于第二特定值，此时确定场景的规模为超大规模下的场景。

步骤450，当确定所述场景的规模为第一规模时，选取与第一规模对应的第二神经网络模型对待检测图像进行处理，其中，与第一规模对应的第二神经网络模型的计算复杂度小于第一神经网络模型的计算复杂度。

在一实施例中，终端设备中还部署有至少一个第二神经网络模型，用于对待检测图像进行处理，例如图像分类、目标检测、关键点识别等。该至少一个第二神经网络模型的网络类型、网络结构可以相同或者不同，本申请对此不作限定。示例地，第二神经网络模型的网络类型可以为上文中已描述过的网络类型，或者还可以为其他的网络类型，本申请对此不作限定。

该至少一个第二神经网络模型分别与特定规模的场景对应，用于处理该特定规模下的待检测图像，例如该特定规模的场景可以为第一规模、第二规模或其他预设规模下的场景。如上文所述，第一规模为小规模下的场景，第一规模所对应的第二神经网络模型的计算复杂度较低；而第一神经网络模型的计算复杂度较高，对应较大规模下的场景。与第一规模对应的第二神经网路模型的网络结构可以具有与第一神经网路模型相同的网络结构，但与第一规模对应的第二神经网路模型的网络层数和参数量少于第一神经网路模型的网络层数和参数量，也即与第一规模对应的第二神经网络模型的计算复杂度小于第一神经网络模型的计算复杂度。例如，第一神经网路模型和与第一规模对应的第二神经网路模型均为ResNet，且第一神经网路模型为ResNet152，与第一规模对应的第二神经网路模型为ResNet50。示例地，如上文所述，第一神经网路模型为网络计算复杂度较高的ResNet、DenseNet等，而与第一规模对应的第二神经网路模型为网络计算复杂度较低的GoogLeNet、SqueezeNet或MobileNet等。

在一些实施例中，还可以通过网络剪枝等方法对第一神经网路模型进行模型压缩，得到该第二神经网络模型。在网络剪枝过程中，根据一定的标准，对第一神经网络模型中对最终的输出结果贡献不大的冗余参数进行修剪并保留重要参数，以使得得到的第二神经网络模型的参数数量更少，从而降低计算量。对输出结果的贡献度可以根据神经元的权重参数L1正则化或者L2正则化的值、激活函数的平均输出值、在验证数据集上不为0的次数或是其他指标得到。当然，第二神经网络还可以通过其他方式得到，本申请实施例对此不作限定。

对于移动设备而言，神经网络模型的运行速度和计算复杂度大小都是极其重要的，若能选取合适计算复杂度的神经网络模型进行图像处理，不仅可以保证图像处理的准确率，还可以提高处理速度和降低资源消耗。本申请实施例通过选取与待检测图像的规模相对应的神经网络模型对待检测图像进行处理，使得选取的神经网络模型的计算复杂度较适中，可以确保图像处理的准确率，同时减少图像处理中的耗能，能节省电能等资源。

步骤460，当确定所述场景的规模为第二规模时，选取与第二规模对应的第二神经网络模型对待检测图像进行处理，其中，第二规模大于或等于第一规模，与第二规模对应的第二神经网络模型的计算复杂度大于与第一规模对应的第二神经网络模型的计算复杂度。

如上文所述，第一规模为小规模下的场景，第一规模所对应的第二神经网络模型的计算复杂度较低；第二规模为大规模下的场景，第二规模所对应的第二神经网络模型的计算复杂度较高。第二规模大于或等于第一规模，与第二规模对应的第二神经网络模型的计算复杂度大于与第一规模对应的第二神经网络模型的计算复杂度。在一实施例中，与第二规模对应的第二神经网路模型的网络结构可以具有与第一规模对应的第二神经网路模型的网络结构相同的网络结构，但与第一规模对应的第二神经网路模型的网络层数和参数量少于与第二规模对应的第二神经网路模型的网络结构的网络层数和参数量，也即与第一规模对应的第二神经网络模型的计算复杂度小于与第二规模对应的第二神经网路模型的网络结构的计算复杂度。

示例地，与第二规模对应的第二神经网络模型为上述第一神经网络模型，用于处理与第一神经网络模型对应的大规模场景下的待检测图像。

根据本申请的一些实施例的图像处理方法，还可包括如下步骤：

S1：获取所述场景的规模的历史数据；

S2：根据所述场景的规模的历史数据，确认所述场景的规模为预设规模的周期；

S3：根据所述周期所对应的预设规模，在所述周期期间通过与所述预设规模对应的第二神经网络模型对所述场景中的待检测图像进行处理。

在一实施例中，终端设备获取特定时间段内的多张图像，该多张图像在同一场景下拍摄，例如商场一楼的入口处，该多张图像包括不同时刻的商场一楼的入口处中的目标物，例如人脸。在该特定时间段内，第一神经网络模型分别对该多张图像进行检测，根据该多张图像中的人脸数量和/或人脸的像面尺寸，分别确定该多张图像所在场景的规模。该多张图像所在场景的规模即为场景的规模的历史数据。

示例地，在该特定时间段内的第一阶段，场景的规模为第一规模；在该特定时间段内的第二阶段，场景的规模为第二规模，此时即可根据第一阶段和第二阶段确定场景的规模的周期。根据第一阶段和第二阶段所对应的场景的规模，分别通过与第一阶段和第二阶段对应的场景的规模的第二神经网络模型处理第一阶段和第二阶段的待检测图像。例如，该特定时间段为一个月，通过第一神经网络模型进行检测，得到该月内，商场一楼的入口处的图像在周一到周五时人脸数量较少和/或人脸的像面尺寸较大，周六到周日时人脸数量较多和/或人脸的像面尺寸较小，从而可以确定第一阶段为周一到周五，对应的场景的规模较小，例如为第一规模；第二阶段为周六到周日，对应的场景的规模较大，例如为第二规模。因而可以设置每周一到周五，通过与第一规模对应的第二神经网络模型对商场一楼的入口处的图像进行处理；每周六到周日，通过与第二规模对应的第二神经网络模型对商场一楼的入口处的图像进行处理。

下面以图2a和图2b中具体的待检测图像为例，举例阐述本申请实施例的图像处理方法。

图2a和图2b分别是本申请的实施例所提供的一种图像处理场景中的待检测图像。例如，参考图2a和图2b，以待检测图像中的目标物为人脸为例，图2a中的人脸所占待检测图像的比例较小，因此图2a中的待检测图像包含多个像面尺寸较小的人脸，且图2a中的人脸数量较多。相较于图2a，图2b的待检测图像中人脸的数量较少，且像面尺寸较大。图2a中的待检测图像所在场景的规模大于图2b中的待检测图像所在场景的规模。此时，图2a中的待检测图像所在场景的规模为第二规模，图2b中的待检测图像所在场景的规模为第一规模。终端设备会选取与第一规模对应的较小计算复杂度的神经网络模型，例如MobileNet，对图2b中的待检测图像进行图像处理；选取与第二规模对应的计算复杂度较大的神经网络模型，例如DenseNet，对图2a中的待检测图像进行图像处理，以使得终端设备能同时以较高准确率对图2a和图2b中的待检测图像进行处理，同时减少终端设备的能耗。

本申请实施例的图像处理方法，通过与待检测图像所在场景的规模对应的神经网络模型对所述待检测图像进行处理，实现待检测图像所在场景的规模与神经网络模型的计算复杂度相匹配，避免通过计算复杂度高的神经网络模型处理场景规模较小的图像，以及避免通过计算复杂度低的神经网络模型处理场景规模较大的图像，进而确保采用合适的神经网络模型处理待检测图像，在提高神经网络模型的处理效率的同时，还能确保待检测图像的识别精度，进而降低执行神经网络模型运算的硬件设备的耗电量。

示例性装置

本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图5是本申请一示例性实施例提供的图像处理装置的框图。该装置具有实现上述方式实施例图3、图4中的功能，所述功能可以有硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：获取模块510、规模确定模块520、图像处理模块530。

获取模块510，用于获取待检测图像。

规模确定模块520，用于通过第一神经网络模型检测待检测图像，确定该待检测图像所在场景的规模。

图像处理模块530，用于根据场景的规模，通过与场景的规模对应的第二神经网络模型对该待检测图像进行处理。

在基于图5所示实施例提供的一个可选实施例中，所述图像处理装置还包括：历史数据获取模块和周期确定模块(未示出)。

历史数据获取模块，用于获取场景的规模的历史数据。

周期确定模块，用于根据场景的规模的历史数据，确认场景的规模为预设规模的周期。

在一个可选实施例中，图像处理模块530还包括周期处理单元531，用于根据周期所对应的预设规模，在周期期间通过与该预设规模对应的第二神经网络模型对场景中的待检测图像进行处理。

在一个可选实施例中，规模确定模块520，还用于根据预设时间间隔，通过第一神经网络模型检测待检测图像，确定待检测图像所在场景的规模。

在一个可选实施例中，图像处理模块530还包括图像处理单元532，用于当确定场景的规模为第一规模时，选取与第一规模对应的第二神经网络模型对待检测图像进行处理，其中，与第一规模对应的第二神经网络模型的计算复杂度小于第一神经网络模型的计算复杂度；用于当确定所述场景的规模为第二规模时，选取与所述第二规模对应的第二神经网络模型对待检测图像进行处理，其中，第二规模大于或等于所述第一规模，与第二规模对应的第二神经网络模型的计算复杂度大于与第一规模对应的第二神经网络模型的计算复杂度。

在一个可选实施例中，与第二规模对应的第二神经网络模型为第一神经网络模型。

图6a和图6b是图5所示的图像处理装置中的规模确定模块的框图。

如图6a所示，在上述图5所示实施例的基础上，规模确定模块520可包括数量确定单元521和第一规模确定单元522。

数量确定单元521，用于通过第一神经网络模型确定待检测图像中目标物的数量。

第一规模确定单元522，用于根据待检测图像中目标物的数量，确定待检测图像所在场景的规模。

如图6b所示，在上述图5所示实施例的基础上，规模确定模块520还可包括尺寸确定单元523和第二规模确定单元524。

尺寸确定单元523，用于通过第一神经网络模型确定待检测图像中目标物的像面尺寸。

第二规模确定单元524，用于根据所述待检测图像中目标物的像面尺寸，确定所述待检测图像所在场景的规模。

需要说明的是，上述数量确定单元521和尺寸确定单元523可以为同一个单元，或者由同一个硬件或软件部件执行。上述第一规模确定单元522和第二规模确定单元524可以为同一个单元，或者由同一个硬件或软件部件执行。

本申请实施例提供的图像处理装置，通过与待检测图像所在场景的规模对应的神经网络模型对所述待检测图像进行处理，实现待检测图像所在场景的规模与神经网络模型的计算复杂度相匹配，避免通过计算复杂度高的神经网络模型处理场景规模较小的图像，以及避免通过计算复杂度低的神经网络模型处理场景规模较大的图像，进而确保采用合适的神经网络模型处理待检测图像，在提高神经网络模型的处理效率的同时，还能确保待检测图像的识别精度，进而降低执行神经网络模型运算的硬件设备的耗电量。

示例性电子设备

下面，参考图7来描述根据本申请实施例的电子设备。图7图示了根据本申请实施例的电子设备的框图。

如图7所示，电子设备10包括一个或多个处理器11和存储器12。

处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。

存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入设备13可以包括例如键盘、鼠标等等。

该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图7中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的图像处理方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (13)

1.一种图像处理方法，包括：

获取待检测图像；

通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模；

根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。

2.根据权利要求1所述的方法，其中，所述通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模，包括：

通过第一神经网络模型确定所述待检测图像中目标物的数量；

根据所述待检测图像中目标物的数量，确定所述待检测图像所在场景的规模。

3.根据权利要求1所述的方法，其中，通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模，包括：

通过第一神经网络模型确定所述待检测图像中目标物的像面尺寸；

根据所述待检测图像中目标物的像面尺寸，确定所述待检测图像所在场景的规模。

4.根据权利要求1所述的方法，还包括：

获取所述场景的规模的历史数据；

根据所述场景的规模的历史数据，确认所述场景的规模为预设规模的周期，

其中，所述根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理，包括：

根据所述周期所对应的预设规模，在所述周期期间通过与所述预设规模对应的第二神经网络模型对所述场景中的待检测图像进行处理。

5.根据权利要求1-4任一项所述的方法，其中，通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模，包括：

根据预设时间间隔，通过所述第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模。

6.根据权利要求1-3任一项所述的方法，其中，所述根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理，包括：

当确定所述场景的规模为第一规模时，选取与所述第一规模对应的第二神经网络模型对所述待检测图像进行处理，所述与所述第一规模对应的第二神经网络模型的复杂度小于所述第一神经网络模型的复杂度。

7.根据权利要求6所述的方法，其中，所述根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理，还包括：

当确定所述场景的规模为第二规模时，选取与所述第二规模对应的第二神经网络模型对所述待检测图像进行处理，其中，所述第二规模大于或等于所述第一规模，与所述第二规模对应的第二神经网络模型的复杂度大于与所述第一规模对应的第二神经网络模型的复杂度。

8.根据权利要求7所述的方法，其中，所述与所述第二规模对应的第二神经网络模型为所述第一神经网络模型。

9.一种图像处理装置，包括：

获取模块，用于获取待检测图像；

规模确定模块，用于通过第一神经网络模型检测所述待检测图像，确定所述待检测图像所在场景的规模；

图像处理模块，用于根据所述场景的规模，通过与所述场景的规模对应的第二神经网络模型对所述待检测图像进行处理。

10.根据权利要求9所述的装置，其中，所述规模确定模块包括：

数量确定单元，用于通过第一神经网络模型确定所述待检测图像中目标物的数量；

第一规模确定单元，用于根据所述待检测图像中目标物的数量，确定所述待检测图像所在场景的规模。

11.根据权利要求9所述的装置，其中，所述规模确定模块包括：

尺寸确定单元，用于通过第一神经网络模型确定所述待检测图像中目标物的像面尺寸；

第二规模确定单元，用于根据所述待检测图像中目标物的像面尺寸，确定所述待检测图像所在场景的规模。

12.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8任一所述的图像处理方法。

13.一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于执行上述权利要求1-8任一所述的图像处理方法。