CN114005016A - 一种图像处理方法、电子设备、图像处理系统及芯片系统 - Google Patents

Abstract

本申请实施例提供一种图像处理方法、电子设备、图像处理系统及芯片系统，涉及图像处理技术领域，可以解决多任务的深度神经网络模型中特征分析网络模型的图像处理效果较差的问题。第一设备通过特征提取网络模型提取待处理图像的特征信息；第一设备对提取的特征信息进行标识，获得特征信息的标识信息；第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息；第二设备接收到第一设备发送的特征信息以及对应的标识信息后，选择与标识信息对应的特征分析网络模型处理接收到的特征信息，获得图像处理结果。

Description

一种图像处理方法、电子设备、图像处理系统及芯片系统

技术领域

本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法、电子设备、图像处理系统及芯片系统。

背景技术

随着深度学习理论的发展，基于深度神经网络模型的图像处理也得到快速发展。例如，可以通过深度神经网络模型提取图像的特征，然后对图像的特征进行分析以完成对图像的处理，图像的处理可以包括：目标检测、语义分割、全景分割和图像分类等。

基于深度学习的深度神经网络模型从功能的角度可以分为两部分：特征提取网络模型和特征分析网络模型。特征提取网络模型用于提取图像的特征；特征分析网络模型用于对图像的特征进行分析处理，以完成相应的图像处理任务。在多任务的图像处理过程中，为了降低深度神经网络模型的参数，降低深度神经网络模型训练的任务量，多个不同的特征分析网络模型可以共用同一个特征提取网络模型。然而，多个不同的特征分析网络模型采用的图像特征可能会存在差别，共用同一个特征提取网络模型提取的图像特征无法兼顾各个特征分析网络模型，导致特征分析网络模型的图像处理效果较差。

发明内容

本申请实施例提供一种图像处理方法、电子设备、图像处理系统及芯片系统，解决多任务的深度神经网络模型中特征分析网络模型的图像处理效果较差的问题。

为达到上述目的，本申请采用如下技术方案：

第一方面提供一种图像处理方法，包括：第一设备通过预先存储的至少一个特征提取网络模型提取待处理图像的特征信息；第一设备对提取的特征信息进行标识，获得特征信息的标识信息；第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息，以指示第二设备选择与标识信息对应的特征分析网络模型处理特征信息。

本申请实施例中，第一设备对提取的特征信息进行标识获得标识信息之后，可以指示存在多个特征分析网络模型的第二设备根据标识信息选择与该标识信息对应的特征分析网络模型处理接收到的特征信息。该方法中，第二设备中的特征分析网络模型可以对应多个第一设备中的特征提取网络模型，或者对应第一设备中的多个特征特征提取网络模型。当存在多个第一设备或者第一设备内存在多个特征提取网络模型时，第二设备中的多个特征分析网络模型可以根据标识信息确定将特征信息输入哪个特征分析网络模型中以完成相应的图像处理任务，避免了同一特征提取网络模型的特征信息无法同时满足多个特征分析网络模型的需求导致的图像处理效果较差的问题。

在第一方面的一种可能的实现方式中，第一设备对提取的特征信息进行标识，获得特征信息的标识信息包括：第一设备获得提取特征信息的特征提取网络模型的标识；第一设备将提取特征信息的特征提取网络模型的标识作为特征信息的标识信息。

在一些示例中，可以将提取特征信息的特征提取网络模型的标识作为特征信息的标识信息。第二设备可以根据特征信息的标识信息确定提取该特征信息的特征提取网络模型，从而选择合适的特征分析网络模型分析接收到的特征信息，以完成相应的图像处理任务。

在第一方面的一种可能的实现方式中，第一设备对提取的特征信息进行标识，获得特征信息的标识信息包括：第一设备获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；第一设备将特征信息的输出层级的标识作为特征信息的标识信息。

在一些示例中，可以将特征信息的输出层级的标识作为特征信息的标识信息。第二设备可以根据特征信息的标识信息确定输出该特征信息的输出层级，从而选择合适的特征分析网络模型分析接收到的特征信息，以完成相应的图像处理任务。

在第一方面的一种可能的实现方式中，第一设备对提取的特征信息进行标识，获得特征信息的标识信息包括：第一设备获得提取特征信息的特征提取网络模型的标识；第一设备获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；第一设备将提取特征信息的特征提取网络模型的标识和特征信息的输出层级的标识作为特征信息的标识信息。

在一些示例中，可以将提取特征信息的特征提取网络模型的标识和特征信息的输出层级的标识作为特征信息的标识信息。第二设备可以根据特征信息的标识信息确定该特征信息的特征提取网络模型和输出层级，从而选择合适的特征分析网络模型分析接收到的特征信息，以完成相应的图像处理任务。

实际应用中，可以根据实际需求选择上述列举的任一种标识信息的生成方法，从而提高了本申请实施例应用时的灵活性。

第二方面提供一种图像处理方法，包括：第二设备获取与所述第二设备连接的第一设备发送的待处理图像的特征信息和特征信息的标识信息；第二设备根据特征信息的标识信息确定处理所述特征信息的特征分析网络模型；第二设备将待处理图像的特征信息输入确定的特征分析网络模型，获得图像处理结果。

在第二方面的一种可能的实现方式中，第二设备根据特征信息的标识信息确定处理所述特征信息的特征分析网络模型包括：第二设备获取标识信息与特征分析网络模型的对应关系；第二设备根据对应关系，将与特征信息的标识信息对应的特征分析网络模型作为处理特征信息的特征分析网络模型。

在第二方面的一种可能的实现方式中，特征信息的标识信息包括：提取特征信息的特征提取网络模型的标识；和/或，特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级。

第三方面提供一种电子设备，包括：

特征信息提取单元，用于通过预先存储的至少一个特征提取网络模型提取待处理图像的特征信息；

标识信息生成单元，用于对提取的特征信息进行标识，获得特征信息的标识信息；

信息发送单元，用于向第二设备发送待处理图像的特征信息和特征信息的标识信息，以指示第二设备选择与标识信息对应的特征分析网络模型处理特征信息。

第四方面提供一种电子设备，包括：

信息获取单元，用于获取连接的第一设备发送的待处理图像的特征信息和特征信息的标识信息；

模型确定单元，用于根据特征信息的标识信息确定处理所述特征信息的特征分析网络模型；

图像处理单元，用于将待处理图像的特征信息输入确定的特征分析网络模型，获得图像处理结果。

第五方面提供一种电子设备，包括处理器，处理器用于运行存储器中存储的计算机程序，以实现本申请第一方面任一项的方法。

第六方面提供一种电子设备，包括处理器，处理器用于运行存储器中存储的计算机程序，实现本申请第二方面任一项的方法。

第七方面提供一种图像处理系统，包括至少一个第五方面提供的电子设备和至少一个第六方面提供的电子设备。

第八方面提供一种芯片系统，包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现本申请第一方面任一项的方法和/或第二方面任一项的方法。

第九方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被一个或多个处理器执行时实现本申请第一方面任一项的方法和/或第二方面任一项的方法。

第十方面提供了一种计算机程序产品，当计算机程序产品在设备上运行时，使得设备执行上述第一方面中任一项方法和/或第二方面任一项的方法。

可以理解的是，上述第二方面至第十方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1为本申请实施例提供的图像处理方法的一种应用场景示意图；

图2为本申请实施例提供的图像处理方法的一种示例图；

图3为本申请实施例提供的图像处理方法的另一示例图；

图4为本申请实施例提供的执行图像处理方法的一种电子设备的硬件结构示意图；

图5为本申请实施例提供的第一设备和第二设备执行图像处理方法的处理过程示意图；

图6为本申请实施例提供的一种第一设备执行图像处理方法的流程示意图；

图7为本申请实施例中提供的图像处理方法中一种标识信息与特征分析网络模型的对应关系示意图；

图8为本申请实施例中提供的图像处理方法中另一种标识信息与特征分析网络模型的对应关系示意图；

图9为本申请实施例中提供的图像处理方法中另一种标识信息与特征分析网络模型的对应关系示意图；

图10为本申请实施例提供的一种第二设备执行图像处理方法的流程示意图；

图11为本申请实施例提供的第一设备和第二设备的功能架构模块的示意框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例可以应用于多个图像处理任务的应用场景中。图像处理过程包括图像特征提取过程和图像特征分析过程。参见图1，图1为本申请实施例提供的图像处理方法的应用场景。如图1所示，对应于一个执行图像特征分析过程的云平台，可能存在多个执行图像特征提取过程的摄像装置，图示中仅示出3个摄像装置，实际应用中可以设置更多或更少数量的摄像装置。该应用场景的一个示例中，这些摄像装置设置在不同的道路上。该应用场景的另一示例中，这些摄像装置设置在工厂中，例如设置在工厂的车间、办公室、进出大门和车库进出口等。对于这些摄像装置，可能部分或者全部摄像装置中存储有特征提取网络模型，摄像装置采集视频和/或图像后，摄像装置内的特征提取网络模型可以提取视频中的图像帧的特征信息和/或图像的特征信息，摄像装置将特征信息发送至云平台，云平台基于待执行的图像处理任务选择合适的特征分析网络模型处理接收到的特征信息。

上述应用场景可以按照图2所示的图像处理方法的一种示例进行图像处理，图2所示的示例中，多个特征分析网络模型(例如，图示中的图像分类网络模型、目标检测网络模型和语义分割网络模型)共用一个特征提取网络模型。特征提取网络模型可以加载在各个摄像装置中，多个特征分析网络模型可以加载在云平台中。云平台中的多个特征分析网络模型共用摄像装置中的一个特征提取网络模型提取的特征信息。摄像装置和云平台可以通过无线的方式建立通信连接。

如果按照图2所示的图像处理方法进行图像处理，可能存在以下问题：

(1)为了适应云平台中特征分析网络模型的需求，可能需要对摄像装置中的特征提取网络模型进行更新。当需要对摄像装置中的特征提取网络模型更新时，由于摄像装置众多且分布范围较广(例如城市道路上的摄像装置)，更新的代价非常高，导致按照图2所示的示例的图像处理方法在应用的过程中部署、更新时灵活性较差。

(2)为了适应云平台中新加入的特征分析网络模型的需求，在摄像装置中加入新的性能更好的特征提取网络模型时，很可能会出现原有的特征分析网络模型无法识别新加入的特征提取网络模型提取的特征信息，导致云平台中的一些特征分析网络模型无法完成图像处理任务或图像处理效果较差，即无法保证同一特征提取网络模型能够完全适于所有的特征分析网络模型。

(3)对于云平台中不同的图像处理任务，可能用于目标检测的特征分析网络模型需要高性能的特征提取网络模型；用于图像分类的特征分析网络模型则没有必要采用高性能的特征提取网络模型，为了兼顾高要求的特征分析网络模型均采用高性能的特征分析网络模型，导致摄像装置每次进行特征提取时计算量大，内存消耗严重等问题。

为解决图2所示的示例存在的上述问题，还可以采用图3所示的图像处理方法的示例。如图3所示，每个摄像装置可以根据应用场合设置不同的特征提取网络模型，例如，设置在工厂车库进出口处的摄像装置采集的图像主要用于车辆检测，因此，设置在车库进出口的摄像装置中可以加载适于车辆检测的特征提取网络模型。设置在工厂进出大门处的摄像装置采集的图像主要用于人脸识别，因此，设置在工厂进出大门处的摄像装置可以加载适于人脸识别的特征提取网络模型。云平台中可以加载适于车辆检测的特征分析网络模型和适于人脸识别的特征提取网络模型。对于云平台，可能接收到设置在工厂进出大门处的摄像装置发送的特征信息，也可能收到设置在工厂车库进出口处的摄像装置发送的特征信息，为了便于云平台将特征信息输入合适的特征分析网络模型以完成相应的图像处理任务，可以在摄像装置中提取到图像的特征信息后，为特征信息生成标识信息。例如，预先设置了规则：适于车辆检测的特征提取网络模型的标识为0，适于人脸识别的特征提取网络模型的标识为1。摄像装置获得特征信息后，还可以基于特征提取网络模型的标识为特征信息生成标识信息，摄像装置将特征信息以及特征信息的标识信息发送给云平台，云平台可以识别接收到的特征信息的标识信息，然后根据接收到的特征信息的标识信息选择合适的特征分析网络模型对接收到的特征信息进行处理，从而获得图像处理结果。

作为举例，对应于执行图像特征分析过程的云平台，存在三个摄像装置，第一个摄像装置中的特征提取网络模型为模型1，提取的特征信息为特征信息A，对应的标识信息为00，第二个摄像装置中的特征提取网络模型为模型2，提取的特征信息为特征信息B，对应的标识信息为01，第三个摄像装置中的特征提取网络模型为模型3，提取的特征信息为特征信息C，对应的标识信息为10。

云平台中可能存储三个特征分析网络模型：执行图像分类任务的模型α，执行目标检测任务的模型β，执行语义分割任务的模型γ。

其中，摄像装置、摄像装置中存储的特征提取网络模型、标识信息、图像处理任务和云平台中存储的特征分析网络模型之间的对应关系为：

第一个摄像装置—模型1—标识信息00—图像分类任务—模型α；

第二个摄像装置—模型2—标识信息01—目标检测任务—模型β；

第三个摄像装置—模型3—标识信息10—语义分割任务—模型γ。

一个示例中，这些摄像装置自主将提取的特征信息以及标识信息发送给云平台。云平台可以根据上述对应关系，将标识信息为00的特征信息输入到标识信息00对应的模型α中以完成图像分类任务；云平台可以根据上述对应关系，将标识信息为01的特征信息输入到标识信息01对应的模型β中以完成目标检测任务；云平台可以根据上述对应关系，将标识信息为10的特征信息输入到标识信息10对应的模型γ中以完成语义分割任务。

另一个示例中，当用户需要进行图像分类任务时，向云平台发送图像分类任务的执行指令，云平台通过上述对应关系，向图像分类任务对应的第一个摄像装置发送特征提取指令，第一个摄像装置将采集的图像输入模型1，获得特征信息，并生成特征信息的标识信息00，第一个摄像装置将特征信息和标识信息00发送至云平台，云平台接收到特征信息和标识信息00后，将特征信息输入到标识信息00对应的模型α中以完成图像分类任务。

另一个示例中，当用户需要进行语义分割任务时，用户通过上述对应关系确定通过第三个摄像装置执行图像特征提取过程，用户向第三个摄像装置发送执行指令，第三摄像装置通过模型3获得待处理图像的特征信息，并生成特征信息的标识信息10，第三个摄像装置将特征信息和标识信息10发送至云平台，云平台接收到特征信息和标识信息10后，云平台将特征信息输入到标识信息10对应的模型γ中以完成语义分割任务。

上述三个示例中每个摄像装置内可以存储一个特征提取网络模型。实际应用中，每个摄像装置内也可以存储多个特征提取网络模型。

按照图3所示的图像处理方法，在网络模型需要更新时，可以在需要更新的一个或多个摄像装置中增加新的特征提取网络模型或将新的特征提取网络模型替换旧的特征提取网络模型，并对应设置该特征提取网络模型的唯一标识。没有必要将与云平台存在网络连接关系的每个摄像装置中均增加新的特征提取网络模型或将新的特征提取网络模型替换旧的特征提取网络模型。因此图3所示图像处理方法增加了网络更新或部署的灵活性和可扩展性。为了便于描述，将特征提取网络模型所在的电子设备记为第一设备，第一设备执行的步骤记为图像特征提取过程。将特征分析网络模型所在的电子设备记为第二设备，第二设备执行的步骤记为图像特征分析过程。第一设备和第二设备共同完成图像处理方法。

另外，图1所示应用场景中，图像处理系统包括多个第一设备和一个第二设备，实际应用中，图像处理系统也可能包括一个第一设备和一个第二设备；图像处理系统还可能包括一个第一设备和多个第二设备，图像处理系统还可能包括多个第一设备和多个第二设备。当存在多个第二设备时，第一设备可以根据特征信息的标识信息确定发送给相应的第二设备。

作为举例，当图像处理系统包括：多个第一设备和多个第二设备时，第一设备、第一设备中存储的特征提取网络模型、标识信息、图像处理任务、第二设备、第二设备中存储的特征分析网络模型之间的对应关系为：

第一个摄像装置—模型1—标识信息00—图像分类任务—云平台1—模型α；

第一个摄像装置—模型2—标识信息01—目标检测任务—服务器2—模型β；

第二个摄像装置—模型3—标识信息10—语义分割任务—云平台1—模型γ。

该示例中，第一个摄像装置通过模型1提取图像的特征信息后，生成标识信息00，并向云平台1发送特征信息和标识信息00，云平台1将标识信息00的特征信息输入模型α；第一个摄像装置通过模型2提取图像的特征信息后，生成标识信息01，并向服务器2发送特征信息和标识信息01，服务器2将标识信息01的特征信息输入模型β。

当然，该示例中，也可以按照如下方式进行图像处理任务：第一个摄像装置通过模型1提取图像的一组特征信息，并生成标识信息00；通过模型2提取图像的一组特征信息，并生成标识信息01，第一个摄像装置将两组特征信息和对应的标识信息均发送至云平台1和服务器2，云平台1从接收到的两组特征信息中选择标识信息00的特征信息输入模型α，服务器2从接收到的两组特征信息中选择标识信息01的特征信息输入模型β。

基于上述示例可以理解，图像处理系统中可以包括至少一个第二设备，其中，第二设备中可以存储多个特征分析网络模型，也可以存储一个特征分析网络模型。

需要说明，上述应用场景以及对应的示例中的摄像装置和云平台仅用于第一设备和第二设备的示例，实际应用中，第一设备可以是摄像装置以外的其他电子设备，第二设备也可以是云平台以外的其他电子设备。

作为举例，本申请实施例提供一种图像处理方法可以适用于第一设备中，该第一设备可以为摄像装置、手机、平板电脑等带有摄像头的电子设备。当然，第一设备也可以不具有摄像头，而是接受其他具有摄像头的电子设备发送的图像或者视频。本申请实施例提供的一种图像处理方法还可以适用于第二设备，第二设备可以为云平台、服务器、计算机、笔记本、手机等具有图像特征分析能力的电子设备。当然，实际应用中，第一设备和第二设备可以为同一电子设备，例如，第一设备和第二设备均可以为手机。图像特征提取过程和图像特征分析过程均在手机的处理器中执行，或者图像特征提取过程在手机的第一处理中执行，图像特征分析过程在手机的第二处理器中执行。至少一个第一设备和第二设备组成图像处理系统。

图4示出了一种电子设备的结构示意图。该电子设备可以作为第一设备执行图像处理方法中的图像特征提取过程，也可以作为第二设备执行图像处理方法中的图像特征分析过程，还可以作为一个电子设备执行图像处理方法中的图像特征提取过程和图像特征分析过程。电子设备400可以包括处理器410，外部存储器接口420，内部存储器421，通用串行总线(universal serial bus，USB)接口430，充电管理模块440，电源管理模块441，电池442，天线1，天线2，移动通信模块450，无线通信模块460，音频模块470，扬声器470A，受话器470B，麦克风470C，耳机接口470D，传感器模块480，按键490，马达491，指示器492，摄像头493，显示屏494，以及用户标识模块(subscriber identification module，SIM)卡接口495等。其中传感器模块480可以包括压力传感器480A，陀螺仪传感器480B，气压传感器480C，磁传感器480D，加速度传感器480E，距离传感器480F，接近光传感器480G，指纹传感器480H，温度传感器480J，触摸传感器480K，环境光传感器480L，骨传导传感器480M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备400的具体限定。在本申请另一些实施例中，电子设备400可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器410可以包括一个或多个处理单元，例如：处理器410可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。例如，处理器410用于执行本申请实施例中的图像处理方法中的图像特征提取过程，例如，下述步骤601～步骤603，和/或执行本申请实施例中的图像处理方法中的图像特征分析过程，例如，下述步骤1001～步骤1003。

其中，控制器可以是电子设备400的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器410的等待时间，因而提高了系统的效率。

在一些实施例中，处理器410可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器410可以包含多组I2C总线。处理器410可以通过不同的I2C总线接口分别耦合触摸传感器480K，充电器，闪光灯，摄像头493等。例如：处理器410可以通过I2C接口耦合触摸传感器480K，使处理器410与触摸传感器480K通过I2C总线接口通信，实现电子设备400的触摸功能。

I2S接口可以用于音频通信。在一些实施例中，处理器410可以包含多组I2S总线。处理器410可以通过I2S总线与音频模块470耦合，实现处理器410与音频模块470之间的通信。

PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块470与无线通信模块460可以通过PCM总线接口耦合。

UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。

MIPI接口可以被用于连接处理器410与显示屏494，摄像头493等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器410和摄像头493通过CSI接口通信，实现电子设备400的拍摄功能。处理器410和显示屏494通过DSI接口通信，实现电子设备400的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器410与摄像头493，显示屏494，无线通信模块460，音频模块470，传感器模块480等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口430是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口430可以用于连接充电器为电子设备400充电，也可以用于电子设备400与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备400的结构限定。在本申请另一些实施例中，电子设备400也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块440用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块440可以通过USB接口430接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块440可以通过电子设备400的无线充电线圈接收无线充电输入。充电管理模块440为电池442充电的同时，还可以通过电源管理模块441为电子设备供电。

电源管理模块441用于连接电池442，充电管理模块440与处理器410。电源管理模块441接收电池442和/或充电管理模块440的输入，为处理器410，内部存储器421，外部存储器，显示屏494，摄像头493，和无线通信模块460等供电。电源管理模块441还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。

在其他一些实施例中，电源管理模块441也可以设置于处理器410中。在另一些实施例中，电源管理模块441和充电管理模块440也可以设置于同一个器件中。

电子设备400的无线通信功能可以通过天线1，天线2，移动通信模块450，无线通信模块460，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备400中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块450可以提供应用在电子设备400上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块450可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块450可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块450还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

在一些实施例中，移动通信模块450的至少部分功能模块可以被设置于处理器410中。在一些实施例中，移动通信模块450的至少部分功能模块可以与处理器410的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器470A，受话器470B等)输出声音信号，或通过显示屏494显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器410，与移动通信模块450或其他功能模块设置在同一个器件中。

无线通信模块460可以提供应用在电子设备400上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备400的天线1和移动通信模块450耦合，天线2和无线通信模块460耦合，使得电子设备400可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

电子设备400通过GPU，显示屏494，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏494和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器410可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏494用于显示图像，视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备400可以包括1个或N个显示屏494，N为大于1的正整数。

电子设备400可以通过ISP，摄像头493，视频编解码器，GPU，显示屏494以及应用处理器等实现拍摄功能。

ISP用于处理摄像头493反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头493中。

摄像头493用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备400可以包括1个或N个摄像头493，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备400在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备400可以支持一种或多种视频编解码器。这样，电子设备400可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备400的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

在本申请实施例中，NPU或其他处理器可以用于对电子设备400存储的视频中的人脸图像进行人脸检测、人脸跟踪、人脸特征提取和图像聚类等操作；对电子设备400存储的图片中的人脸图像进行人脸检测、人脸特征提取等操作，并根据图片的人脸特征以及视频中人脸图像的聚类结果，对电子设备400存储的图片进行聚类。

外部存储器接口420可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备400的存储能力。外部存储卡通过外部存储器接口420与处理器410通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器421可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令，从而执行电子设备400的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)。存储数据区可存储电子设备400使用过程中所创建的数据(比如音频数据，电话本等)。

此外，内部存储器421可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备400可以通过音频模块470，扬声器470A，受话器470B，麦克风470C，耳机接口470D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块470用于将数字音频信号转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块470还可以用于对音频信号编码和解码。在一些实施例中，音频模块470可以设置于处理器410中，或将音频模块470的部分功能模块设置于处理器410中。

扬声器470A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备400可以通过扬声器470A收听音乐，或收听免提通话。

受话器470B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备400接听电话或语音信息时，可以通过将受话器470B靠近人耳接听语音。

麦克风4270C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风470C发声，将声音信号输入到麦克风470C。电子设备400可以设置至少一个麦克风470C。在另一些实施例中，电子设备400可以设置两个麦克风470C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备400还可以设置三个，四个或更多麦克风470C。

耳机接口470D用于连接有线耳机。耳机接口470D可以是USB接口430，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器480A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器480A可以设置于显示屏494。压力传感器480A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器480A，电极之间的电容改变。电子设备400根据电容的变化确定压力的强度。当有触摸操作作用于显示屏494，电子设备400根据压力传感器480A检测触摸操作强度。电子设备400也可以根据压力传感器480A的检测信号计算触摸的位置。

陀螺仪传感器480B可以用于确定电子设备400的运动姿态。在一些实施例中，可以通过陀螺仪传感器480B确定电子设备400围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器480B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器480B检测电子设备400抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备400的抖动，实现防抖。陀螺仪传感器480B还可以用于导航，体感游戏场景。

气压传感器480C用于测量气压。在一些实施例中，电子设备400通过气压传感器480C测得的气压值计算海拔高度，辅助定位和导航。

磁传感器480D包括霍尔传感器。电子设备400可以利用磁传感器480D检测翻盖皮套的开合。在一些实施例中，当电子设备400是翻盖机时，电子设备400可以根据磁传感器480D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。

加速度传感器480E可检测电子设备400在各个方向上(一般为三轴)加速度的大小。当电子设备400静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。

距离传感器480F，用于测量距离。电子设备400可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备400可以利用距离传感器480F测距以实现快速对焦。

接近光传感器480G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备400通过发光二极管向外发射红外光。电子设备400使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备400附近有物体。当检测到不充分的反射光时，电子设备400可以确定电子设备400附近没有物体。电子设备400可以利用接近光传感器480G检测用户手持电子设备400贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器480G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器480L用于感知环境光亮度。电子设备400可以根据感知的环境光亮度自适应调节显示屏494亮度。环境光传感器480L也可用于拍照时自动调节白平衡。环境光传感器480L还可以与接近光传感器480G配合，检测电子设备400是否在口袋里，以防误触。

指纹传感器480H用于采集指纹。电子设备400可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器480J用于检测温度。在一些实施例中，电子设备400利用温度传感器480J检测的温度，执行温度处理策略。例如，当温度传感器480J上报的温度超过阈值，电子设备400执行降低位于温度传感器480J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备400对电池442加热，以避免低温导致电子设备400异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备400对电池442的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器480K，也称“触控面板”。触摸传感器480K可以设置于显示屏494，由触摸传感器480K与显示屏494组成触摸屏，也称“触控屏”。触摸传感器480K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏494提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器480K也可以设置于电子设备400的表面，与显示屏494所处的位置不同。

骨传导传感器480M可以获取振动信号。在一些实施例中，骨传导传感器480M可以获取人体声部振动骨块的振动信号。骨传导传感器480M也可以接触人体脉搏，接收血压跳动信号。

在一些实施例中，骨传导传感器480M也可以设置于耳机中，结合成骨传导耳机。音频模块470可以基于骨传导传感器480M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于骨传导传感器480M获取的血压跳动信号解析心率信息，实现心率检测功能。

按键490包括开机键，音量键等。按键490可以是机械按键。也可以是触摸式按键。电子设备400可以接收按键输入，产生与电子设备400的用户设置以及功能控制有关的键信号输入。

马达491可以产生振动提示。马达491可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏494不同区域的触摸操作，马达491也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

指示器492可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

SIM卡接口495用于连接SIM卡。SIM卡可以通过插入SIM卡接口495，或从SIM卡接口495拔出，实现和电子设备400的接触和分离。电子设备400可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口495可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口495可以同时插入多张卡。多张卡的类型可以相同，也可以不同。SIM卡接口495也可以兼容不同类型的SIM卡。SIM卡接口495也可以兼容外部存储卡。电子设备400通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备400采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备400中，不能和电子设备400分离。

需要说明的是，如果第二设备为服务器，则该服务器包括处理器，以及通信接口。

在本申请实施例中，并未特别限定执行图像特征提取过程和图像特征分析过程的执行主体的具体结构，只要可以通过运行记录有本申请实施例的图像处理方法中的图像特征提取过程和/或图像特征分析过程的代码的程序，以根据本申请实施例的图像处理方法中的图像特征提取过程和/或图像特征分析过程进行通信即可。例如，本申请实施例提供的一种图像处理方法的执行主体可以是第一设备中能够调用程序并执行程序的功能模块，或者为应用于第一设备中的装置，例如，芯片；本申请实施例提供的一种图像处理方法的执行主体可以是第二设备中能够调用程序并执行程序的功能模块，或者为应用于第二设备中的装置，例如，芯片。

上述应用场景以及对应的示例中，以多个摄像装置(每个摄像装置分别加载一个特征提取网络模型)对应一个云平台完成图像处理任务为例进行说明。为了对本申请具有更清晰的理解，后续实施例以多个摄像装置中的一个摄像装置与对应的一个云平台完成图像处理任务为例进行描述，该摄像装置可以加载一个特征提取网络模型，也可以加载多个特征提取网络模型。

参见图5，图5为本申请实施例提供的第一设备和第二设备执行图像处理方法的示例图，该示例图中第一设备加载特征分析网络模型，第一设备通过特征分析网络模型提取待处理图像的特征信息，第一设备生成特征信息的标识信息，第一设备将特征信息和标识信息发送给第二设备，第二设备加载图像分类网络模型、目标检测网络模型和语义分割网络模型，第二设备识别接收到的特征信息的标识信息，并根据接收到的特征信息的标识信息，选择与标识信息对应的特征分析网络模型，将特征信息输入到选中的特征分析网络模型中，已完成相应的图像处理任务。

参见图6，图6为本申请实施例提供的一种图像处理方法的流程示意图，如图所示，该方法应用于第一设备，该方法包括：

步骤601，第一设备通过预先存储的至少一个特征提取网络模型提取待处理图像的特征信息。

在本申请实施例中，特征提取网络模型可以包括：VGG模型，ResNet模型，Inception模型等。还可以是上述列举的模型以外的其他特征提取网络模型，本申请实施例对此不做限制。

图像的特征信息包括第一设备中的特征提取网络模型对待处理图像进行处理后获得的特征图。

步骤602，第一设备对提取的特征信息进行标识，获得特征信息的标识信息。

本申请实施例中，第一设备中的特征提取网络模型用于提取图像的特征信息，第二设备中的特征分析网络模型用于基于图像的特征信息对图像进行相应的图像处理任务。然而，第二设备中可能存在多个图像分析网络模型以完成不同的图像处理任务。作为举例，第二设备中存在A模型、B模型和C模型，A模型用于根据图像的特征信息获得图像分类结果，B模型用于根据图像的特征信息获得目标检测结果，C模型用于根据图像的特征信息获得语义分割结果。在第一设备中的图像特征提取网络模型提取了图像的特征信息之后，可以根据将要进行的图像处理任务对图像的特征信息进行标识，这样就可以方便第二设备接收到图像的特征信息之后，根据该标识信息确定选择A模型、B模型还是C模型进行后续的图像处理任务。

实际应用中，可以根据将要执行的图像处理任务确定特征信息的标识信息，作为举例，第二设备中用于根据图像的特征信息获得图像分类结果的A模型的标识信息为00，第二设备中用于根据图像的特征信息获得目标检测结果的B模型的标识信息为01，第二设备中用于根据图像的特征信息获得语义分割结果的C模型的标识信息为11。第一设备中，可以根据待处理图像要进行的图像处理任务，选择合适的特征提取网络模型。然后，根据要进行的图像处理任务，为提取的特征信息进行标识。当然，实际应用中，也可以按照其他方式提取特征信息和对特征信息进行标识，具体可参照后续图7至图9中相关的描述。

当对待处理图像进行的图像处理任务为图像分类时，就可以将特征信息的标识信息设置为00，当对待处理图像进行的图像处理任务为目标检测时，就可以将特征信息的标识信息设置为01，当对待处理图像进行的图像处理任务为语义分割时，就可以将特征信息的标识信息设置为11。

实际应用中，还可能根据其他信息生成特征信息的标识信息，具体可参照后续描述。

需要说明，上述举例用“0”和“1”作为标识字符组成标识信息，实际应用中，还可以是其他形式的标识字符组成标识信息。

步骤603，第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息，以指示第二设备选择与标识信息对应的特征分析网络模型处理特征信息。

在本申请实施例中，第一设备和第二设备不为同一设备时，第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息，当第一设备和第二设备为同一设备时，可能存在如下情况：

情况1、特征提取网络模型位于第一处理器内，特征分析网络模型位于第二处理器内。

第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息包括：第一设备的第一处理器向第一设备的第二处理器发送待处理图像的特征信息和特征信息的标识信息。

情况2、特征提取网络模型和特征分析网络模型位于同一处理器内。

第一设备向第二设备发送待处理图像的特征信息和特征信息的标识信息包括：第一设备的特征提取功能模块向第一设备的特征分析功能模块发送待处理图像的特征信息和特征信息的标识信息，其中，特征提取功能模块中存储特征提取网络模型，特征分析功能模块中存储特征分析网络模型。

本申请实施例中第一设备通过对待处理图像的特征信息生成标识信息，以指示第二设备在接收到特征信息的标识信息之后，根据标识信息选择对应的特征分析网络模型以完成相应的图像处理任务，从而使得第二设备中特征分析网络模型获得的特征信息为匹配的特征信息，提高第二设备中多任务的图像处理效果较差的问题。

作为本申请另一实施例，第一设备可以通过以下方式获得特征信息的标识信息：

第一设备获得提取特征信息的特征提取网络模型的标识；

第一设备将提取特征信息的特征提取网络模型的标识作为特征信息的标识信息。

在本申请实施例中，第一设备中存储的特征提取网络模型为至少一个，为每个特征提取网络模型预先设置标识，根据获得特征信息的特征提取网络模型的标识可以生成特征信息的标识信息。由于一个第二设备可能与多个第一设备存在网络连接，即第二设备可能接收到多个第一设备发送的特征信息。因此，即使第一设备中仅存在一个特征提取网络模型，也需要为该特征提取网络模型设置唯一标识。

参见图7，作为该实施例的一个示例，如果第二设备中的图像处理任务对应设有三个模型，模型A、模型B和模型C，其中，模型A、模型B和模型C对应的图像处理任务对特征信息的要求各不相同。那么，为了满足模型A、模型B和模型C对特征信息的需求，第一设备中的特征提取网络模型的数量可以设置3个：模型1、模型2和模型3。模型1可以满足模型B的图像处理任务，模型2可以满足模型C的图像处理任务，模型3可以满足模型A的图像处理任务。当然，除了上述的满足关系外，可能还存在其它情况，例如模型3获得的特征信息除了可以满足上面描述的模型A的需求以外，还可能满足模型B的需求，然而模型3提取特征信息的过程相比模型1提取特征信息的过程内存占用较大，造成资源的浪费。这种情况下，为了避免内存占用较大，资源浪费的问题，将标识信息和特征分析网络模型的对应关系设置为图7所示的对应关系，即模型3提取的特征信息输入模型A，模型1提取的特征信息输入模型B。

当用户想要进行模型A对应的图像处理任务时，用户可以根据图7所示的对应关系，将待处理图像输入第一设备中的模型3，第一设备中的模型3输出待处理图像的特征信息以及特征信息的标识信息10，第一设备将待处理图像的特征信息和特征信息的标识信息10发送给第二设备，第二设备接收到特征信息以及对应的标识信息10后，第二设备根据对应关系，确定模型A为目标模型，将特征信息输入模型A，从而获得用户想要的图像处理结果。

作为本申请另一实施例，第一设备可以通过以下方式获得特征信息的标识信息：

第一设备获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；

第一设备将特征信息的输出层级的标识作为特征信息的标识信息。

在本申请实施例中，特征提取网络模型可能存在多个层级，作为举例，特征提取网络模型的结构中可能存在多个卷积层、多个池化层和全连接层等，这些层级之间以卷积层、池化层、卷积层、池化层、……、全连接层的形式存在。可能这些层级之间存在以下关系：上一层级的输出为下一层级的输入，最后获得一个层级输出图像的特征信息。然而，实际应用中，某个特征分析网络模型不仅需要最后一个层级的输出，还可能需要中间某一个或者某多个层级的输出；可能某个特征分析网络模型不需要最后一个层级的输出，而是需要中间一个或多个层级的输出。所以，为了满足第二设备中的特征分析网络模型的需求，可以设置第一设备中特征提取网络模型的特定层级作为输出层级输出图像的特征信息；并根据输出特征信息的输出层级生成相应的标识信息，以便于第二设备选择合适的特征分析网络模型。

对于特征提取网络模型，能够输出图像的特征信息的层级(例如上述示例中的卷积层、池化层和全连接层)均可以作为特征信息的输出层级。

对于上述特征提取网络模型的示例，仅用于说明特征提取网络模型中的输出层级。上述特征提取网络模型的示例并不表示对特征提取网络模型的结构造成限制，例如，上述特征提取网络模型也可以是VGG、DenseNet、还可以是特征金字塔结构的特征提取网络模型。

参见图8，作为该实施例的一个示例，如果第二设备中的图像处理任务对应设有2个特征分析网络模型：模型A和模型B，其中，模型A对应的图像处理任务对特征信息的要求为：模型1的输出层级2至输出层级5输出的特征信息，模型B对应的图像处理任务对特征信息的要求为：模型1的输出层级3至输出层级5输出的特征信息。那么，第一设备中的特征提取网络模型存在4个输出层级：输出层级2、输出层级3、输出层级4和输出层级5。可以将模型1的输出层级2至输出层级5的特征信息对应的标识信息设置为0，将模型1输出层级3至输出层级5的特征信息对应的标识信息设置为1。

当然，实际应用中，第一设备内还可以包含其他特征提取网络模型。本申请实施例仅采用模型1说明如何将输出层级的标识作为特征信息的标识信息。

作为本申请另一实施例，第一设备中至少存在两个特征提取网络模型、且其中至少一个特征提取网络模型包含多个输出层级时，第一设备可以通过以下方式获得特征信息的标识信息：

第一设备获得提取特征信息的特征提取网络模型的标识；

第一设备获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；

第一设备将提取特征信息的特征提取网络模型的标识和特征信息的输出层级的标识作为特征信息的标识信息。

参见图9，作为本实施例的一个示例，第一设备中存在两个特征提取网络模型：模型1和模型2，模型1的标识可以为0，模型2的标识可以1。模型1对应存在1个输出层级；模型2对应存在4个输出层级：输出层级2、输出层级3、输出层级4和输出层级5。模型2的输出层级2至输出层级4的标识为0，模型2的输出层级3至输出层级5的标识为1，相应的，模型1得到的特征信息的标识信息为0X，(可以是00，也可以是01)，模型2的输出层级2至输出层级4得到的特征信息的标识信息为10，模型2的输出层级3至输出层级5得到的特征信息的标识信息为11，预先基于第二设备中的每个特征分析网络模型对特征信息的需求，存在如下对应关系：00—模型A、10—模型B、11—模型C，或者01—模型A、10—模型B、11—模型C。

当用户需要对待处理图像进行模型B对应的图像处理任务时，用户查找对应关系，确定需要第一设备中的模型2的输出层级2至输出层级4得到的特征信息，用户可以在第一设备侧控制模型2的输出层级2至输出层级4输出特征信息，用户也可以在第二设备侧通过第二设备向第一设备发送指令，以控制第一设备中的模型2的输出层级2至输出层级4输出特征信息。第一设备中的模型2的输出层级2至输出层级4输出特征信息之后，可以生成特征信息的提取模型的标识1，生成特征信息的输出层级的标识0，将10作为特征信息的标识信息，第一设备将特征信息以及标识信息10发送给第二设备，第二设备根据标识信息10，将特征信息输入模型B中，获得图像处理结果。

在实际应用中，无论是将提取特征信息的特征提取网络模型的标识作为特征信息的标识信息，还是将特征信息的输出层级的标识作为特征信息的标识信息，还是将二者均作为特征信息的标识信息，均可以根据实际情况进行设定。

作为本申请另一实施例，为了对特征信息的标识信息具有更清晰的理解，可以设定如下规则：

对标识信息对应的字段进行划分：用于表示提取特征信息的特征提取网络模型的第一字段和用于表示特征信息的输出层级的第二字段。

其中，第一字段占据m个字节，第二字段占据n个字节。实际应用中可以根据第一设备中的特征提取网络模型的数量确定m的取值，根据特征提取网络模型的输出形式的数量确定n的取值。

为了使得本申请实施例在实施过程中具有可扩展性，可以将m和n设置的相对较大，例如将m设置为4个字节，最多可以涵盖2⁴个特征提取网络模型。将n设置为4个字节，可以涵盖最多2⁴种输出形式的特征提取网络模型。输出形式表示输出特征信息的输出层级组成的集合，例如一个特征提取网络模型对应的输出层级组成的集合{输出层级1}、{输出层级3}、{输出层级2至输出层级4}和{输出层级3至输出层级5}为4个不同的输出形式。实际应用中，m和n还可以为其他数值，本申请对此不做限制。在第二设备侧存在较多的特征分析网络模型的情况下，存在足够的标识信息与特征分析网络模型形成一一对应关系。

第一设备向第二设备发送特征信息的标识信息时，可以将第一字段和第二字段作为一个整体字段，该整体字段中存在m个连续的字节表示提取特征信息的特征提取网络模型，存在n个连续的字节表示特征信息的输出层级。当然，该整体字段中还可以包含表征其他含义的字节，本申请实施例对整体字段的总字节数不做限制。

上述示例仅用于举例，实际应用中，第一字段和第二字段可以作为两个完全独立的字段，例如，第一个独立的字段中包括第一字段，还可以包括至少1个字节用于区分当前独立的字段是提取模型的标识还是输出层级的标识。第二个独立的字段中包括第二字段，还可以包括至少一个字节用于区分当前独立的字段是提取模型的标识还是输出层级的标识。第一设备将第一个独立的字段和第二个独立的字段作为特征信息的标识信息发送给第二设备。

作为举例，第一个独立的字段中第一个字节为0，表示该独立的字段中存储的m个连续的字节为提取模型的标识，该独立的字段中还包括m个连接的字节用于表示提取特征信息的特征提取网络模型。第二个独立的字段中第一个字节为1，表示该独立的字段中存储的n个连续的字节为输出层级的标识，该独立的字段中还包括n个连接的字节用于表示特征信息的输出层级。

上述标识信息的生成方法仅用于示例，在实际应用中，还可以是其他的生成方式，本申请实施例对此不做限制。

参见图10，图10为本申请实施例提供的一种图像处理方法的流程示意图，如图所示，该方法应用于第二设备，该方法包括：

步骤1001，第二设备获取与所述第二设备连接的第一设备发送的待处理图像的特征信息和特征信息的标识信息。

步骤1002，第二设备根据特征信息的标识信息确定处理所述特征信息的特征分析网络模型。

步骤1003，第二设备将待处理图像的特征信息输入确定的特征分析网络模型，获得图像处理结果。

在本申请实施例中，第二设备需要和第一设备配合完成图像处理任务，第一设备完成图像特征提取任务，第二设备对第一设备提取的特征信息进行分析，已获得图像处理结果。因此，第一设备和第二设备之间存在连接，可以是有线连接，也可以是无线连接。如前所述，第一设备提取的特征信息存在标识信息，且标识信息用于指示第二设备选择合适的特征分析网络模型完成对应的图像处理任务。第二设备获取到待处理图像的特征信息的标识信息后，需要根据标识信息确定处理特征信息的特征分析网络模型。

对应于图7、8、9所示实施例中获得特征信息的标识信息的方法，第二设备获取的特征信息的标识信息包括：

提取特征信息的特征提取网络模型的标识；

和/或，

特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级。

作为本申请另一实施例，第二设备根据特征信息的标识信息确定处理特征信息的特征分析网络模型包括：

第二设备获取标识信息与特征分析网络模型的对应关系；

第二设备根据对应关系，将与特征信息的标识信息对应的特征分析网络模型作为处理特征信息的特征分析网络模型。

需要说明，所述对应关系中不仅可以包括标识信息、特征分析网络模型之间的对应关系，还可以包括其他信息的对应关系。例如图3所示示例中，描述的对应关系为第一设备、第一设备种存储的特征提取网络模型、标识信息、图像处理任务和第二设备中存储的特征分析网络模型之间的对应关系。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例可以根据上述方法示例对第一设备和第二设备进行功能单元的划分，例如，可以对应每一个功能划分每一个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以采用对应每一个功能划分每一个功能单元为例进行说明：

参照图11，该第一设备1110包括：

特征信息提取单元1111，用于通过预先存储的至少一个特征提取网络模型提取待处理图像的特征信息；

标识信息生成单元1112，用于对提取的特征信息进行标识，获得特征信息的标识信息；

信息发送单元1113，用于向第二设备发送待处理图像的特征信息和特征信息的标识信息，以指示第二设备选择与标识信息对应的特征分析网络模型处理特征信息。

作为本申请另一实施例，标识信息生成单元1112还用于：

获得提取特征信息的特征提取网络模型的标识；将提取特征信息的特征提取网络模型的标识作为特征信息的标识信息。

作为本申请另一实施例，标识信息生成单元1112还用于：

获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；将特征信息的输出层级的标识作为特征信息的标识信息。

作为本申请另一实施例，标识信息生成单元1112还用于：

获得提取特征信息的特征提取网络模型的标识；

获得特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级；

将提取特征信息的特征提取网络模型的标识和特征信息的输出层级的标识作为特征信息的标识信息。

需要说明的是，上述第一设备中单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

参加图11，该第二设备1120包括：

信息获取单元1121，用于获取连接的第一设备发送的待处理图像的特征信息和特征信息的标识信息；

模型确定单元1122，用于根据特征信息的标识信息确定处理该特征信息的特征分析网络模型；

图像处理单元1123，用于将待处理图像的特征信息输入确定的特征分析网络模型，获得图像处理结果。

作为本申请另一实施例，模型确定单元1122还用于：

获取标识信息与特征分析网络模型的对应关系；根据对应关系，将与特征信息的标识信息对应的特征分析网络模型作为处理该特征信息的特征分析网络模型。

作为本申请另一实施例，特征信息的标识信息包括：

提取特征信息的特征提取网络模型的标识；

和/或，

特征信息的输出层级的标识，其中，特征信息的输出层级为提取特征信息的特征提取网络模型中输出特征信息的层级。

需要说明的是，上述第二设备中单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将第一设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例还提供了一种计算机程序产品，当计算机程序产品在第一设备上运行时，使得第一设备可实现上述各个方法实施例中的步骤。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够将计算机程序代码携带到第一设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本申请实施例还提供了一种芯片系统，芯片系统包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现本申请任一方法实施例的步骤。芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

第一设备通过预先存储的至少一个特征提取网络模型提取待处理图像的特征信息；

所述第一设备对提取的所述特征信息进行标识，获得所述特征信息的标识信息；

所述第一设备向第二设备发送所述待处理图像的特征信息和所述特征信息的标识信息，以指示所述第二设备选择与所述标识信息对应的特征分析网络模型处理所述特征信息。

2.如权利要求1所述的方法，其特征在于，所述第一设备对提取的所述特征信息进行标识，获得所述特征信息的标识信息包括：

所述第一设备获得提取所述特征信息的特征提取网络模型的标识；

所述第一设备将提取所述特征信息的特征提取网络模型的标识作为所述特征信息的标识信息。

3.如权利要求1所述的方法，其特征在于，所述第一设备对提取的所述特征信息进行标识，获得所述特征信息的标识信息包括：

所述第一设备获得所述特征信息的输出层级的标识，其中，所述特征信息的输出层级为提取所述特征信息的特征提取网络模型中输出所述特征信息的层级；

所述第一设备将所述特征信息的输出层级的标识作为所述特征信息的标识信息。

4.如权利要求1所述的方法，其特征在于，所述第一设备对提取的所述特征信息进行标识，获得所述特征信息的标识信息包括：

所述第一设备获得提取所述特征信息的特征提取网络模型的标识；

所述第一设备获得所述特征信息的输出层级的标识，其中，所述特征信息的输出层级为提取所述特征信息的特征提取网络模型中输出所述特征信息的层级；

所述第一设备将提取所述特征信息的特征提取网络模型的标识和所述特征信息的输出层级的标识作为所述特征信息的标识信息。

5.一种图像处理方法，其特征在于，包括：

第二设备获取与所述第二设备连接的第一设备发送的待处理图像的特征信息和所述特征信息的标识信息；

所述第二设备根据所述特征信息的标识信息确定处理所述特征信息的特征分析网络模型；

所述第二设备将所述待处理图像的特征信息输入确定的特征分析网络模型，获得图像处理结果。

6.如权利要求5所述的方法，其特征在于，所述第二设备根据所述特征信息的标识信息确定处理所述特征信息的特征分析网络模型包括：

所述第二设备获取所述标识信息与所述特征分析网络模型的对应关系；

所述第二设备根据所述对应关系，将与所述特征信息的标识信息对应的特征分析网络模型作为处理所述特征信息的特征分析网络模型。

7.如权利要求5所述的方法，其特征在于，所述特征信息的标识信息包括：

提取所述特征信息的特征提取网络模型的标识；

和/或，

所述特征信息的输出层级的标识，其中，所述特征信息的输出层级为提取所述特征信息的特征提取网络模型中输出所述特征信息的层级。

8.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如权利要求1至4任一项所述的方法。

9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于运行存储器中存储的计算机程序，以实现如权利要求5至7任一项所述的方法。

10.一种图像处理系统，其特征在于，包括：至少一个如权利要求8所述的电子设备和至少一个如权利要求9所述的电子设备。

11.一种芯片系统，其特征在于，所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器用于运行所述存储器中存储的计算机程序，以实现如权利要求1至4任一项所述的方法和/或如权利要求5至7任一项所述的方法。

Images