CN112784912A - 图像识别方法及装置、神经网络模型的训练方法及装置 - Google Patents

Abstract

本公开提供了一种图像识别方法及装置、神经网络模型的训练方法及装置，涉及人工智能领域，具体为计算机视觉和深度学习领域。实现方案为：将待识别图像输入神经网络模型；以及至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别，其中，针对至少一个超网络模块中任一超网络模块及其所对应的预测器，在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，基于预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及在该超网络模块中，利用选中子网络执行对待识别图像的识别。

Description

图像识别方法及装置、神经网络模型的训练方法及装置

技术领域

本公开涉及人工智能领域，尤其涉及计算机视觉和深度学习领域，具体涉及一种神经网络模型的训练方法及装置、图像识别方法及装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种图像识别方法及装置、神经网络模型的训练方法及装置、计算机设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种利用神经网络模型的图像识别方法，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，至少一个超网络模块中每一个超网络模块包括至少两个子网络，神经网络模型还包括与至少一个超网络模块中每一个超网络模块所对应的预测器，识别方法包括：将待识别图像输入神经网络模型；以及至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别，其中，针对至少一个超网络模块中任一超网络模块及其所对应的预测器，在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，基于预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及在该超网络模块中，利用选中子网络执行对待识别图像的识别。

根据本公开的另一方面，提供了一种神经网络模型的训练方法，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，训练方法包括：获取多个第一训练集，其中，多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；根据第一预设模式，确定多个级联的网络模块中每一个网络模块所对应的第一训练集；以及利用多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，针对至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。

根据本公开的另一方面，提供了一种图像识别装置，包括：神经网络模型，包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，至少一个超网络模块中每一个超网络模块包括至少两个子网络，神经网络模型还包括与至少一个超网络模块中每一个超网络模块所对应的预测器；输入单元，被配置用于将待识别图像输入神经网络模型；神经网络模型被配置用于至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别，其中，针对至少一个超网络模块中任一超网络模块及其所对应的预测器，在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，基于预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及在该超网络模块中，利用选中子网络执行对待识别图像的识别。

根据本公开的另一方面，提供了一种神经网络模型的训练装置，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，训练装置包括：第一获取单元，被配置用于获取多个第一训练集，其中，多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；第一确定单元，被配置用于根据第一预设模式，确定多个级联的网络模块中每一个网络模块所对应的第一训练集；以及第一调整单元，被配置用于利用多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，针对至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。

根据本公开的另一方面，提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现上述方法的步骤。

根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述的方法的步骤。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述的方法的步骤。

根据本公开的一个或多个实施例，采用本公开训练得到的包括超网络模块的神经网络模型能够兼顾对数据处理的准确率和处理效率的要求，提升了神经网络模型的数据处理性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1示出了根据本公开的实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；

图2a示出了根据本公开的实施例的利用神经网络模型的图像识别方法的流程图；

图2b示出了根据本公开的实施例的超网络模块及其所对应的预测器的图像识别方法的流程图；

图3示出了根据本公开的实施例的超网络的结构示意图；

图4a示出了根据本公开的实施例的神经网络模型的训练方法的流程图；

图4b示出了根据本公开的实施例的超网络模块及其所对应的预测器的参数调整方法；

图5示出了根据本公开的实施例的图像识别装置的结构框图；

图6示出了根据本公开的实施例的神经网络模型的训练装置的结构框图；

图7示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

作为人工智能技术应用的一个方面，可以使计算机基于经过训练的神经网络模型来模拟人的思维过程，对输入数据进行识别。

相关技术中，用于神经网络模型一旦训练完成，就会以固定的参数应用于数据处理的过程中。这导致在数据处理的应用过程中，模型无法根据实际输入的数据进行针对性调整。

基于此，本公开提出一种图像识别方法及装置、神经网络模型的训练方法及装置、计算机设备、计算机可读存储介质和计算机程序产品，采用本公开训练得到的包括超网络模块的神经网络模型能够兼顾对数据处理的准确率和处理效率的要求，提升了神经网络模型的数据处理性能。在将基于本公开中的训练方法训练得到的神经网络模型应用到图像识别领域时，能够基于输入的待识别图像，快速地搜索出超网络模块中符合准确率和处理效率要求的子网络进行针对性地识别处理，由此，提升了神经网络模型对不同待识别图像的适应性，提升了整体识别效果。

下面将结合附图详细描述本公开的实施例。

图1示出了根据本公开的实施例可以将本文描述的各种方法和装置在其中实施的示例性系统100的示意图。参考图1，该系统100包括一个或多个客户端设备101、102、103、104、105和106、服务器120以及将一个或多个客户端设备耦接到服务器120的一个或多个通信网络110。客户端设备101、102、103、104、105和106可以被配置为执行一个或多个应用程序。

在本公开的实施例中，服务器120可以运行使得能够执行神经网络模型的训练方法或图像识别方法的一个或多个服务或软件应用。

在某些实施例中，服务器120还可以提供可以包括非虚拟环境和虚拟环境的其他服务或软件应用。在某些实施例中，这些服务可以作为基于web的服务或云服务提供，例如在软件即服务(SaaS)模型下提供给客户端设备101、102、103、104、105和/或106的用户。

在图1所示的配置中，服务器120可以包括实现由服务器120执行的功能的一个或多个组件。这些组件可以包括可由一个或多个处理器执行的软件组件、硬件组件或其组合。操作客户端设备101、102、103、104、105和/或106的用户可以依次利用一个或多个客户端应用程序来与服务器120进行交互以利用这些组件提供的服务。应当理解，各种不同的系统配置是可能的，其可以与系统100不同。因此，图1是用于实施本文所描述的各种方法的系统的一个示例，并且不旨在进行限制。

用户可以使用客户端设备101、102、103、104、105和/或106来获取待识别图像以及图像识别的结果。客户端设备可以提供使客户端设备的用户能够与客户端设备进行交互的接口。客户端设备还可以经由该接口向用户输出信息。尽管图1仅描绘了六种客户端设备，但是本领域技术人员将能够理解，本公开可以支持任何数量的客户端设备。

客户端设备101、102、103、104、105和/或106可以包括各种类型的计算机设备，例如便携式手持设备、通用计算机(诸如个人计算机和膝上型计算机)、工作站计算机、可穿戴设备、游戏系统、瘦客户端、各种消息收发设备、传感器或其他感测设备等。这些计算机设备可以运行各种类型和版本的软件应用程序和操作系统，例如Microsoft Windows、AppleiOS、类UNIX操作系统、Linux或类Linux操作系统(例如Google Chrome OS)；或包括各种移动操作系统，例如Microsoft Windows Mobile OS、iOS、Windows Phone、Android。便携式手持设备可以包括蜂窝电话、智能电话、平板电脑、个人数字助理(PDA)等。可穿戴设备可以包括头戴式显示器和其他设备。游戏系统可以包括各种手持式游戏设备、支持互联网的游戏设备等。客户端设备能够执行各种不同的应用程序，例如各种与Internet相关的应用程序、通信应用程序(例如电子邮件应用程序)、短消息服务(SMS)应用程序，并且可以使用各种通信协议。

网络110可以是本领域技术人员熟知的任何类型的网络，其可以使用多种可用协议中的任何一种(包括但不限于TCP/IP、SNA、IPX等)来支持数据通信。仅作为示例，一个或多个网络110可以是局域网(LAN)、基于以太网的网络、令牌环、广域网(WAN)、因特网、虚拟网络、虚拟专用网络(VPN)、内部网、外部网、公共交换电话网(PSTN)、红外网络、无线网络(例如蓝牙、WIFI)和/或这些和/或其他网络的任意组合。

服务器120可以包括一个或多个通用计算机、专用服务器计算机(例如PC(个人计算机)服务器、UNIX服务器、中端服务器)、刀片式服务器、大型计算机、服务器群集或任何其他适当的布置和/或组合。服务器120可以包括运行虚拟操作系统的一个或多个虚拟机，或者涉及虚拟化的其他计算架构(例如可以被虚拟化以维护服务器的虚拟存储设备的逻辑存储设备的一个或多个灵活池)。在各种实施例中，服务器120可以运行提供下文所描述的功能的一个或多个服务或软件应用。

服务器120中的计算单元可以运行包括上述任何操作系统以及任何商业上可用的服务器操作系统的一个或多个操作系统。服务器120还可以运行各种附加服务器应用程序和/或中间层应用程序中的任何一个，包括HTTP服务器、FTP服务器、CGI服务器、JAVA服务器、数据库服务器等。服务器120还可以包括一个或多个应用程序，以经由客户端设备101、102、103、104、105和106的一个或多个显示设备来显示数据馈送和/或实时事件。在一些实施方式中，服务器120可以包括一个或多个应用程序，例如，基于图像、视频、语音、文本、数字信号等数据的目标检测与识别、信号转换等服务的应用程序，以处理从客户端设备101、102、103、104、105和106接收的语音交互、文本分类、图像识别或关键点检测等深度学习任务请求，并接受各种媒体数据作为深度学习任务的训练样本数据，如图像数据、音频数据或文本数据等。服务器还可以根据具体的深度学习任务，利用训练样本训练包括超网络模块的神经网络模型，对超网络模块中的各个子网络进行测试，根据各个子网络的测试结果，确定用于执行上述深度学习任务的神经网络模型的结构和参数。在对神经网络模型的训练完成后，服务器120还可以通过模型结构自动搜索出适应的网络结构来执行相应的任务。

在一些实施方式中，服务器120可以为分布式系统的服务器，或者是结合了区块链的服务器。服务器120也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。云服务器是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器(VPS，Virtual Private Server)服务中存在的管理难度大、业务扩展性弱的缺陷。

系统100还可以包括一个或多个数据库130。在某些实施例中，这些数据库可以用于存储数据和其他信息。例如，数据库130中的一个或多个可用于存储诸如音频文件和视频文件的信息。数据存储库130可以驻留在各种位置。例如，由服务器120使用的数据存储库可以在服务器120本地，或者可以远离服务器120且可以经由基于网络或专用的连接与服务器120通信。数据存储库130可以是不同的类型。在某些实施例中，由服务器120使用的数据存储库可以是数据库，例如关系数据库。这些数据库中的一个或多个可以响应于命令而存储、更新和检索到数据库以及来自数据库的数据。

在某些实施例中，数据库130中的一个或多个还可以由应用程序使用来存储应用程序数据。由应用程序使用的数据库可以是不同类型的数据库，例如键值存储库，对象存储库或由文件系统支持的常规存储库。

图1的系统100可以以各种方式配置和操作，以使得能够应用根据本公开所描述的各种方法和装置。

图2a和2b是示出根据本公开示例性实施例的利用神经网络模型的图像识别方法，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，至少一个超网络模块中每一个超网络模块包括至少两个子网络，神经网络模型还包括与至少一个超网络模块中每一个超网络模块所对应的预测器，如图2a所示，识别方法可以包括：步骤S201、将待识别图像输入神经网络模型；以及步骤S202、至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别，其中，针对至少一个超网络模块中任一超网络模块及其所对应的预测器，如图2b所示，步骤S202-1、在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，步骤S202-2、基于预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及步骤S202-3、在该超网络模块中，利用选中子网络执行对待识别图像的识别。由此，通过包括超网络模块的神经网络模型进行图像识别，可以根据输入的待识别图像，自动搜索超网络模块中的一个优选的子网络进行图像识别，提升了神经网络模型对不同待识别图像的适应性，增进了识别效果。

同时，在利用该神经网络模型执行深度学习任务时，例如，图像识别任务，硬件设备可以根据当前的输入数据，选择与当前的输入数据匹配的网络结构执行处理，由此在对大量不同的输入数据进行处理的过程中，能够有效节省硬件设备的计算资源、内存资源、显存资源等，提升硬件设备在执行深度学习任务过程中的运算处理能力和处理效率，降低深度学习任务对硬件设备的配置要求。

根据一些实施例，神经网络模型可以是多层神经网络模型，其中，网络模块可以为其中特定数量的连续层。例如，神经网络模型可以是10层神经网络模型，其中前5层构成该神经网络模型中的一个网络模块，其中后5层构成该神经网络模型中的另一个网络模块，在此不作限定。

根据一些实施例，超网络可以是一个同时包含有至少两个子网络的网络结构。超网络可以包括多层搜索空间，每层搜索空间中包括多个子结构。每个子结构可以作为子网络中的一层结构。图3示出了一种示例性实施例的超网络的结构示意图。如图3所示，超网络300包括3层搜索空间，每层搜索空间包括3子结构。

可以理解，超网络中的搜索空间不限于三层，每层搜索空间中子结构的数量也不限于三个，不同搜索空间中子结构的数量可以相同，也可以不同。图3中所示的每层中的子结构的数量仅为示例，对本公开不做限制。

从超网络的每层搜索空间中确定一个子结构，按照所在搜索空间的层顺序依次连接后可以构成该超网络的一个子网络。

在一种实施方式中，例如，以图3所示超网络300为例，从第一层搜索空间中选择子结构312，从第二层搜索空间中选择子结构323，从第三层搜索空间中选择子结构331，将选择出的子结构依次连接得到一个子网络。在另一种实施方式中，还可以通过改变层数得到不同的子网络。

在完成步骤S201将待识别图像输入神经网络模型之后，可以执行步骤S202，至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别。

根据一些实施例，至少基于多个网络模块中靠近神经网络模型的输入侧的部分网络模块执行对待识别图像的识别可以包括：针对多个网络模块中的任一网络模块，响应于该网络模块接收到待识别图像或上一个网络模块所输出的特征图中的一个，该网络模块输出待识别图像的预测分类及其置信度；响应于置信度大于预设阈值，确定预测分类为识别结果。由此，可以根据网络模块所输出的置信度，确定是否终止图像识别过程。

具体地，针对多个级联的网络模块中的任一网络模块，在该网络模块输出的置信度大于预设阈值的情况下，确定该网络模块输出的预测分类为识别结果，神经网络模型后续的网络模块不再参与对该待识别图像的识别处理。

例如，当输入的待识别图像的识别难度级较低时，可以仅通过神经网络模型中靠近输入端的部分网络模块就获得理想的置信度，由此可以在不损失计算精度的情况下，快速地获取理想的识别结果。反之，当输入的待识别图像的识别难度级较高时，可以通过神经网络模型全部网络模块进行计算，以提升识别精度。

根据一些实施例，对于多个级联的网络模块中不位于神经网络模型的输出端的任一网络模块，响应于置信度小于预设阈值，可以将该网络模块所输出的特征图输入至下一个网络模块。由此可以在置信度不理想的情况下，采用后续的网络模块对待识别图像进行进一步计算，提升识别精度。

根据一些实施例，对于位于神经网络模型的输出端的网络模块，响应于置信度小于预设阈值，可以确定预测分类为识别结果。

基于上述，神经网络模型可以基于输入的待识别图像调整参与识别处理的网络模块的数量，提升了神经网络模型对不同待识别图像的适应性，优化了识别效果，在不损失识别精度的情况下，提高在硬件设备上的处理速度。

针对至少一个超网络模块中任一超网络模块及其所对应的预测器，步骤S202-1、在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，步骤S202-2、基于预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及步骤S202-3、在该超网络模块中，利用选中子网络执行对待识别图像的识别。

超网络模块中包括至少两个子网络，基于不同的子网络在参数、结构等因素上的差异，不同的子网络对同一个图像的处理结果和处理速度不同。基于上述，神经网络模型可以通过预测器从超网络模块中为待识别图像选择效果最佳的子网络用于对待识别图像的处理，提升了神经网络模型对不同待识别图像的适应性，优化了识别效果。

其中，可以根据实际处理中对图像识别在精度和速度上的需求，对预测器的参数进行调整，以使训练得到的预测器，能根据输入的待识别图像确定满足精度和速度要求的最优子网络。

图4a和4b是示出根据本公开示例性实施例的神经网络模型的训练方法流程图，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，如图4a所示，训练方法可以包括：步骤S401、获取多个第一训练集，其中，多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；步骤S402、根据第一预设模式，确定多个级联的网络模块中每一个网络模块所对应的第一训练集；以及步骤S403、利用多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，针对至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，如图4b所示，步骤S403-1、响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及步骤S403-2、基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。由此，可以使在对神经网络模型的训练过程中，同时关注最终输出结果和中间输出结果。在针对于超网络模块的训练中，基于真实分类、预测分类和第一计算时长对该超网络模块的参数进行调整，可以使训练得到的超网络模块在速度和精度上均具有良好的表现。

上述方法中训练得到的神经网络模型，可以应用于执行相应的深度学习任务，处理相应的媒体数据，例如图像识别任务、基于图像等媒介数据的目标检测任务等。

针对步骤S402，根据一些实施例，多个第一训练集具有至少两种不同识别难度级，根据第一预设模式，确定多个级联的网络模块中每一个网络模块所对应的第一训练集可以包括：根据多个网络模块中每一个网络模块在神经网络模型中的位置，确定该网络模块所对应的第一训练集，其中，针对多个网络模块中任意两个网络模块，其中靠近神经网络模型的输入侧的网络模块所对应的训练集的识别难度级不大于其中另一个网络模块所对应的训练集的识别难度级。由此，可以使在对神经网络模型的训练过程中，采用具有识别难度级差异的不同第一训练集对位于不同位置的网络模块进行有针对性的训练。

其中，具有特定难度级的第一训练集中包括与该第一训练集的识别难度级对应的第一训练样本。第一训练样本的识别难度级越高，该第一训练样本越不容易被识别。

根据一些实施例，第一训练样本可以为样本图像。

例如，当样本图像中仅包括一只完整的猫，这时该样本图像的识别难度级低(即容易识别出该样本图像中有一只猫)；而当样本图像中包括其它干扰物，或者仅包括一只猫的一部分，这时该样本图像的识别难度级高(即难以识别出该样本图像中有一只猫)。

根据一些实施例，获取至少两个具有不同识别难度级的第一训练集的方法可以包括获取多个第一训练样本；响应于将多个第一训练样本中每一个第一训练样本输入训练好的分级模型，分级模型输出该第一训练样本的预测分类及其置信度；利用多个第一训练样本中每一个第一训练样本的预测分类和置信度中的至少一个，确定该第一训练样本的识别难度级；基于具有相同识别难度级的至少一个第一训练样本，构建具有相应识别难度级的第一训练集。由此，能够快速地获取具有不同识别难度级的第一训练集。

在一种实施方式中，多个第一训练样本中每一个第一训练样本可以具有对应的真实分类，由此可以根据多个第一训练样本中每一个第一训练样本的预测分类和真实分类的一致性，确定该第一训练样本的识别难度级。具体地，在预测分类和真实分类一致的情况下，确定该第一训练样本的识别难度级较低；在预测分类和真实分类不一致的情况下，确定该第一训练样本的识别难度级较高。

在另一种实施方式中，可以根据多个第一训练样本中每一个第一训练样本的置信度，确定该第一训练样本的识别难度级。具体地，第一训练样本的置信度与该第一训练样本的识别难度级负相关。

在另一种实施方式中，可以同时根据第一训练样本的预测分类和真实分类的一致性和第一训练样本的置信度，确定该第一训练样本的识别难度级。

根据一些实施例，还可以通过人为标注的方式，确定多个第一训练样本中每一个第一训练样本的识别难度级，进而构建出所需的具有相应识别难度级的第一训练集。

针对多个网络模块中任意两个网络模块，其中靠近神经网络模型的输入侧的网络模块所对应的第一训练集的识别难度级不大于其中另一个网络模块所对应的第一训练集的识别难度级。即越靠近神经网络模型的输入侧的网络模块所对应的第一训练集的识别难度级越小，而越远离神经网络模型的输入侧的网络模块所对应的第一训练集的识别难度级越大。

针对步骤S403，根据一些实施例，利用多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整可以包括：针对多个网络模块中任意两个网络模块，先对其中靠近神经网络模型的输入侧的网络模块的参数进行调整。由此，能够在训练完成的靠近神经网络模型的输入侧的网络模块的基础上，对后续网络模块进行训练，由此能够提升对后续网络模块的训练效果。

具体地，可以首先对神经网络模型中位于输入端的第一网络模块进行训练。第一网络模块所对应的第一训练集包括多个第一训练样本及其真实分类。将该第一训练集的多个第一训练样本中每一个第一训练样本输入神经网络模型，以获得第一网络模块所输出的该第一训练样本的预测分类。基于多个第一训练样本中每一个第一训练样本的真实分类和预测分类，对第一网络模块的参数进行调整。由此，可以实现对神经网络模型中第一网络模块的训练。由于第一网络模块采用识别难度级较小的第一训练集进行训练，如此训练得到的第一网络模块能够更容易地从识别难度较小的待识别图像中提取特征信息，提升识别效果。

在第一网络模块的参数确定后，对神经网络模型中与第一网络模块级联的下一个网络模块(即第二网络模块)进行训练。第二网络模块所对应的第一训练集包括多个第一训练样本及其真实分类。将该第一训练集的多个第一训练样本中每一个第一训练样本输入神经网络模型，以获得第二网络模块所输出的该第一训练样本的预测分类。基于多个第一训练样本中每一个第一训练样本的真实分类和预测分类，对第二网络模块的参数进行调整。在对第二网络模块的参数进行调整的过程中，虽然第一网络模块也参与对第一训练样本的计算，但是第一网络模块的参数不再变化。由此，可以实现对神经网络模型中第二网络模块的训练。由于第二网络模块可以采用具有更高的识别难度级的第一训练集(相较于第一网络模块所对应的第一训练集)进行训练，如此训练得到的第二网络模块能够更容易地从具有更高的识别难度级的待识别图像中提取特征信息，提升识别效果。

在第二网络模块的参数确定后，再对神经网络模型中与第二网络模块级联的下一个网络模块(即第三网络模块)进行训练，以此类推，可以依次完成对神经网络模型中的每一个网络模块的训练。

针对步骤S403-1和步骤S403-2，根据一些实施例，第一计算时长为GPU处理每一个第一训练样本的训练任务所用的时间。响应于一个第一训练样本输入神经网络模型，第一计算时长为从该第一训练样本输入神经网络模型至该超网络模块所输出的该第一训练样本的预测分类的GPU处理时长。

由于超网络可以同时包含有至少两个子网络，而不同子网络所对应的第一计算时长可以不同。因此，在对超网络模块进行训练的过程中，基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长对该超网络模块的参数进行调整，可以综合该超网络模块中各个子网络的计算精确度(根据第一训练样本的真实分类、预测分类确定计算精确度)和计算速度(根据第一计算时长确定计算速度)，对超网络模块的参数进行调整，直至该超网络模块收敛。

根据一些实施例，至少一个超网络模块中每一个超网络模块包括至少两个子网络，神经网络模型还包括与至少一个超网络模块中每一个超网络模块所对应的预测器，训练方法还可以包括：针对于至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，获取第二训练集；利用第二训练集对该预测器的参数进行调整，以使该预测器能够根据该超网络模块的上一个网络模块所输出的特征图，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。由此，可以通过训练得到的预测器，在图像识别的过程中为输入的待识别图像选择该超网络模块中最优的子网络对该待识别图像进行处理，实现对不同待识别图像的针对性处理，有效提升了神经网络模型对不同的待识别图像的适应性，提升了识别效果。

根据一些实施例，第二训练集包括多个第二训练样本，利用第二训练集对该超网络模块所对应的预测器的参数进行调整可以包括以下步骤：响应于第二训练集中多个第二训练样本中每一个第二训练样本输入神经网络模型，获取该超网络模块的上一个网络模块所输出的该第二训练样本的特征图；将该第二训练样本的特征图输入该超网络模块所对应的预测器，以获取该预测器所输出的该第二训练样本所对应的预测子网络；将该第二训练样本的特征图输入该超网络模块，以确定该第二训练样本所对应的真实子网络；基于多个第二训练样本中每一个第二训练样本的真实子网络和预测子网络，对该网络模块所对应的预测器的参数进行调整。

根据一些实施例，第二训练样本可以为样本图像。

根据一些实施例，第二训练集还包括多个第二训练样本中每一个第二训练样本的真实分类，将该第二训练样本的特征图输入该超网络模块，以确定该第二训练样本的真实子网络可以包括：响应于该第二训练样本的特征图输入该超网络模块，获取该超网络模块的至少两个子网络中每一个子网络所输出的该第二训练样本的预测分类和该子网络所对应的第二计算时长，基于多个第二训练样本中每一个第二训练样本的真实分类、预测分类以及第二计算时长，确定该超网络模块的至少两个子网络中的一个子网络为真实子网络。

在对超网络模块所对应的预测器进行训练的过程中，基于多个第二训练样本中每一个第二训练样本的真实分类、预测分类以及第二计算时长，确定该超网络模块的至少两个子网络中的一个子网络为真实子网络，可以使得训练得到的预测器能够基于输入神经网络模型的待识别图像预测得到超网络模块中的最优选子网络。

根据一些实施例，其中，至少一个超网络模块中每一个超网络模块包括至少两个子网络，训练方法还可以包括：针对于至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，获取测试集；利用测试集，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

根据一些实施例，测试集可以包括多个测试样本及其真实分类；针对至少一个超网络模块中每一个超网络模块，响应于测试集中多个测试样本中每一个测试样本输入神经网络模型，获取该超网络模块的至少两个子网络中每一个子网络输出的该测试样本的预测分类和该子网络所对应的第三计算时长，基于多个测试样本中每一个测试样本的真实分类、预测分类以及第三计算时长，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络。由此，能够根据对识别精度和识别速度的需求从超网络模块中确定最优子网络。

根据一些实施例，测试样本可以为测试图像。

根据一些实施例，测试集可以基于实际的应用场景进行适应性选择。例如，可以根据实际应用场景，确定测试集中所包含的测试样本的识别难度级，或者测试集中不同识别难度级的测试样本的数量的比例。

根据本公开的另一方面，如图5所示，还提供一种图像识别装置500，包括：神经网络模型510，包括多个级联的网络模块511～515，所述多个级联的网络模块511～515包括至少一个超网络模块512～513，所述至少一个超网络模块512～513中每一个超网络模块包括至少两个子网络，所述神经网络模型510还包括与所述至少一个超网络模块512～513中每一个超网络模块所对应的预测器522～523；输入单元520，被配置用于将待识别图像输入所述神经网络模型510；所述神经网络模型510被配置用于至少基于所述多个网络模块511～515中靠近所述神经网络模型510的输入侧的部分网络模块执行对所述待识别图像的识别，其中，针对所述至少一个超网络模块512～513中任一超网络模块及其所对应的预测器，在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将所述特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，基于所述预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及在该超网络模块中，利用所述选中子网络执行对所述待识别图像的识别。

可以理解，上述神经网络模型中网络模块和/或超网络模块的数量仅为示例性举例，本公开对神经网络模型中网络模块和/或超网络模块的数量不作限定。

根据一些实施例，神经网络模型进一步被配置用于针对多个网络模块中的任一网络模块，响应于该网络模块接收到待识别图像或上一个网络模块所输出的特征图中的一个，该网络模块输出待识别图像的预测分类及其置信度；识别装置还包括：确定单元，被配置用于响应于置信度大于预设阈值，确定预测分类为识别结果。

根据一些实施例，确定单元还被配置用于：对于多个级联的网络模块中不位于神经网络模型的输出端的任一网络模块，响应于置信度小于预设阈值，将该网络模块所输出的特征图输入至下一个网络模块。

根据本公开的另一方面，如图6所示，还公开一种神经网络模型的训练装置600，其中，神经网络模型包括多个级联的网络模块，多个级联的网络模块包括至少一个超网络模块，训练装置600包括：第一获取单元601，被配置用于获取多个第一训练集，其中，多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；第一确定单元602，被配置用于根据第一预设模式，确定多个级联的网络模块中每一个网络模块所对应的第一训练集；以及第一调整单元603，被配置用于利用多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，针对至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。

根据一些实施例，多个第一训练集具有至少两种不同识别难度级，确定单元进一步被配置用于根据多个网络模块中每一个网络模块在神经网络模型中的位置，确定该网络模块所对应的第一训练集，其中，针对多个网络模块中任意两个网络模块，其中靠近神经网络模型的输入侧的网络模块所对应的训练集的识别难度级不大于其中另一个网络模块所对应的训练集的识别难度级。

根据一些实施例，至少一个超网络模块中每一个超网络模块包括至少两个子网络，神经网络模型还包括与至少一个超网络模块中每一个超网络模块所对应的预测器，训练装置还包括第二获取单元和第二调整单元，其中，针对于至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，第二获取单元被配置用于获取第二训练集；第二调整单元被配置用于利用第二训练集对该超网络模块所对应的预测器的参数进行调整，以使该预测器能够根据该超网络模块的上一个网络模块所输出的特征图，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

根据一些实施例，至少一个超网络模块中每一个超网络模块包括至少两个子网络，训练装置还包括第三获取单元和第二确定单元，其中，针对于至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，第三获取单元被配置用于获取测试集；第二确定单元被配置用于利用测试集，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

根据一些实施例，第一调整单元进一步被配置用于：针对多个网络模块中任意两个网络模块，先对其中靠近神经网络模型的输入侧的网络模块的参数进行调整。

根据本公开的另一方面，还提供一种计算机设备，包括：存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现上述方法的步骤。

根据本公开的另一方面，还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的另一方面，还提供一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述方法的步骤。

根据本公开的实施例，还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

参考图7，现将描述可以作为本公开的服务器或客户端的电子设备700的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706、输出单元707、存储单元708以及通信单元709。输入单元706可以是能向设备700输入信息的任何类型的设备，输入单元706可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入，并且可以包括但不限于鼠标、键盘、触摸屏、轨迹板、轨迹球、操作杆、麦克风和/或遥控器。输出单元707可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元708可以包括但不限于磁盘、光盘。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、1302.11设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如神经网络模型的训练方法或图像识别方法。例如，在一些实施例中，神经网络模型的训练方法或图像识别方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的神经网络模型的训练方法或图像识别方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行神经网络模型的训练方法或图像识别方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行、也可以顺序地或以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本发明的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

Claims (20)

1.一种利用神经网络模型的图像识别方法，其中，所述神经网络模型包括多个级联的网络模块，所述多个级联的网络模块包括至少一个超网络模块，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，所述神经网络模型还包括与所述至少一个超网络模块中每一个超网络模块所对应的预测器，

所述识别方法包括：

将待识别图像输入所述神经网络模型；以及

至少基于所述多个网络模块中靠近所述神经网络模型的输入侧的部分网络模块执行对所述待识别图像的识别，其中，

针对所述至少一个超网络模块中任一超网络模块及其所对应的预测器，

在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将所述特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，

基于所述预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及

在该超网络模块中，利用所述选中子网络执行对所述待识别图像的识别。

2.如权利要求1所述的识别方法，其中，所述至少基于所述多个网络模块中靠近所述神经网络模型的输入侧的部分网络模块执行对所述待识别图像的识别包括：

针对所述多个网络模块中的任一网络模块，响应于该网络模块接收到所述待识别图像或上一个网络模块所输出的特征图中的一个，该网络模块输出所述待识别图像的预测分类及其置信度；

响应于所述置信度大于预设阈值，确定所述预测分类为识别结果。

3.如权利要求2所述的识别方法，所述方法还包括：

对于所述多个级联的网络模块中不位于所述神经网络模型的输出端的任一网络模块，响应于所述置信度小于所述预设阈值，将该网络模块所输出的特征图输入至下一个网络模块。

4.如权利要求3所述的识别方法，所述方法还包括：

对于位于所述神经网络模型的输出端的网络模块，响应于所述置信度小于所述预设阈值，确定所述预测分类为识别结果。

5.一种神经网络模型的训练方法，其中，所述神经网络模型包括多个级联的网络模块，所述多个级联的网络模块包括至少一个超网络模块，所述训练方法包括：

获取多个第一训练集，其中，所述多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；

根据第一预设模式，确定所述多个级联的网络模块中每一个网络模块所对应的第一训练集；以及

利用所述多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，

针对所述至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，

响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入所述神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及

基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。

6.如权利要求5所述的训练方法，其中，所述多个第一训练集具有至少两种不同识别难度级，

所述根据第一预设模式，确定所述多个级联的网络模块中每一个网络模块所对应的第一训练集包括：

根据所述多个网络模块中每一个网络模块在所述神经网络模型中的位置，确定该网络模块所对应的第一训练集，

其中，针对所述多个网络模块中任意两个网络模块，其中靠近所述神经网络模型的输入侧的网络模块所对应的训练集的识别难度级不大于其中另一个网络模块所对应的训练集的识别难度级。

7.如权利要求5或6所述的训练方法，其中，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，所述神经网络模型还包括与所述至少一个超网络模块中每一个超网络模块所对应的预测器，

所述训练方法还包括：

针对于所述至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，

获取第二训练集；

利用所述第二训练集对该超网络模块所对应的预测器的参数进行调整，以使该预测器能够根据该超网络模块的上一个网络模块所输出的特征图，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

8.如权利要求5或6所述的训练方法，其中，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，

所述训练方法还包括：

针对于所述至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，

获取测试集；

利用所述测试集，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

9.如权利要求5所述的训练方法，其中，所述利用所述多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整包括：

针对所述多个网络模块中任意两个网络模块，先对其中靠近所述神经网络模型的输入侧的网络模块的参数进行调整。

10.一种图像识别装置，包括：

神经网络模型，包括多个级联的网络模块，所述多个级联的网络模块包括至少一个超网络模块，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，所述神经网络模型还包括与所述至少一个超网络模块中每一个超网络模块所对应的预测器；

输入单元，被配置用于将待识别图像输入所述神经网络模型；

所述神经网络模型被配置用于至少基于所述多个网络模块中靠近所述神经网络模型的输入侧的部分网络模块执行对所述待识别图像的识别，其中，

针对所述至少一个超网络模块中任一超网络模块及其所对应的预测器，

在该超网络模块接收到上一个网络模块所输出的特征图的情况下，将所述特征图输入与该超网络模块所对应的预测器，以获取该预测器所输出的预测值，

基于所述预测值，确定该超网络模块的至少两个子网络中的一个子网络为选中子网络，以及

在该超网络模块中，利用所述选中子网络执行对所述待识别图像的识别。

11.如权利要求10所述的识别装置，其中，

所述神经网络模型进一步被配置用于针对所述多个网络模块中的任一网络模块，响应于该网络模块接收到所述待识别图像或上一个网络模块所输出的特征图中的一个，该网络模块输出所述待识别图像的预测分类及其置信度；

所述识别装置还包括：

确定单元，被配置用于响应于所述置信度大于预设阈值，确定所述预测分类为识别结果。

12.如权利要求11所述的识别装置，所述确定单元还被配置用于：

对于所述多个级联的网络模块中不位于所述神经网络模型的输出端的任一网络模块，响应于所述置信度小于所述预设阈值，将该网络模块所输出的特征图输入至下一个网络模块。

13.一种神经网络模型的训练装置，其中，所述神经网络模型包括多个级联的网络模块，所述多个级联的网络模块包括至少一个超网络模块，所述训练装置包括：

第一获取单元，被配置用于获取多个第一训练集，其中，所述多个第一训练集中每一个第一训练集包括多个第一训练样本及其真实分类；

第一确定单元，被配置用于根据第一预设模式，确定所述多个级联的网络模块中每一个网络模块所对应的第一训练集；以及

第一调整单元，被配置用于利用所述多个网络模块中每一个网络模块所对应的第一训练集，对该网络模块的参数进行调整，其中，

针对所述至少一个超网络模块中的每一个超网络模块及其所对应的第一训练集，

响应于该第一训练集中多个第一训练样本中每一个第一训练样本输入所述神经网络模型，获取该超网络模块所输出的该第一训练样本的预测分类和第一计算时长，以及

基于该第一训练集中多个第一训练样本中每一个第一训练样本的真实分类、预测分类以及第一计算时长，对该超网络模块的参数进行调整。

14.如权利要求13所述的训练装置，其中，所述多个第一训练集具有至少两种不同识别难度级，

所述确定单元进一步被配置用于根据所述多个网络模块中每一个网络模块在所述神经网络模型中的位置，确定该网络模块所对应的第一训练集，

其中，针对所述多个网络模块中任意两个网络模块，其中靠近所述神经网络模型的输入侧的网络模块所对应的训练集的识别难度级不大于其中另一个网络模块所对应的训练集的识别难度级。

15.如权利要求13或14所述的训练装置，其中，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，所述神经网络模型还包括与所述至少一个超网络模块中每一个超网络模块所对应的预测器，

所述训练装置还包括第二获取单元和第二调整单元，其中，

针对于所述至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，

所述第二获取单元被配置用于获取第二训练集；

所述第二调整单元被配置用于利用所述第二训练集对该超网络模块所对应的预测器的参数进行调整，以使该预测器能够根据该超网络模块的上一个网络模块所输出的特征图，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

16.如权利要求13或14所述的训练装置，其中，所述至少一个超网络模块中每一个超网络模块包括至少两个子网络，

所述训练装置还包括第三获取单元和第二确定单元，其中，

针对于所述至少一个超网络模块中每一个超网络模块，在对该超网络模块的参数进行调整后，

所述第三获取单元被配置用于获取测试集；

所述第二确定单元被配置用于利用所述测试集，确定该超网络模块的至少两个子网络中的一个子网路为选中子网络。

17.如权利要求5所述的训练装置，其中，所述第一调整单元进一步被配置用于：

针对所述多个网络模块中任意两个网络模块，先对其中靠近所述神经网络模型的输入侧的网络模块的参数进行调整。

18.一种计算机设备，包括：

存储器、处理器以及存储在所述存储器上的计算机程序，

其中，所述处理器被配置为执行所述计算机程序以实现权利要求1-9中任一项所述的方法的步骤。

19.一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法的步骤。

20.一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-9中任一项所述的方法的步骤。

Images