CN113435343A

CN113435343A - 图像识别方法、装置、计算机设备及存储介质

Info

Publication number: CN113435343A
Application number: CN202110725765.1A
Authority: CN
Inventors: 黄殿
Original assignee: Chongqing Unisinsight Technology Co Ltd
Current assignee: Chongqing Unisinsight Technology Co Ltd
Priority date: 2021-06-29
Filing date: 2021-06-29
Publication date: 2021-09-24
Anticipated expiration: 2041-06-29
Also published as: CN113435343B

Abstract

本发明涉及人工智能技术领域，提供一种图像识别方法、装置、计算机设备及存储介质，所述方法包括：获取待识别图像；将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行图像识别，以得到待识别图像中是否存在待识别对象的识别结果；图像识别模型是基于附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到的，附加模型和附加位置是从预设参数空间中确定的。本发明通过在原始模型的基础上融合附加模型，通过自动调整图像识别模型，使图像识别模型与当前运行环境更匹配，进而提高图像识别模型的识别率，同时训练数据无需反馈到初始模型的提供方，实现对用户数据隐私的保护。

Description

图像识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种图像识别方法、装置、计算机设备及存储介质。

背景技术

在当今的人工智能技术领域，深度学习技术在诸多行业中已有实际的落地。例如，在建筑施工现场，深度学习技术用于检测在施工工地施工的建筑工人是否穿戴合规的安全装备，例如安全帽或者安全背心等，可以极大地提高安全施工监控的效率。

在实际应用中，图像识别模型最常见的情形是以软件开发工具包SDK(SoftwareDevelopment Kit，SDK)的形式由模型提供方开发好，然后交付给需求订制方部署到实际业务场景中。

在图像识别模型实际开发的过程中，模型提供方训练图像识别模型采用的数据通常和实际场景数据不一致，导致图像识别模型在部署落地的时候识别效果不佳。

发明内容

本发明提供了一种图像识别方法、装置、计算机设备及存储介质，其能够提高图像识别模型在部署后的识别效果。

为了实现上述目的，本发明采用的技术方案如下：

第一方面，本发明提供一种图像识别方法，所述方法包括：获取待识别图像；将所述待识别图像输入预先训练的图像识别模型，利用所述图像识别模型对所述待识别图像进行图像识别，以得到所述待识别图像中是否存在待识别对象的识别结果；其中，所述图像识别模型是基于附加模型在原始模型中的附加位置，将所述附加模型和所述原始模型进行融合得到的，所述附加模型和所述附加位置是从预设参数空间中确定的。

第二方面，本发明提供一种图像识别装置，所述装置包括：获取模块，用于获取待识别图像；识别模块，用于将所述待识别图像输入预先训练的图像识别模型，利用所述图像识别模型对所述待识别图像进行图像识别，以得到所述待识别图像中是否存在待识别对象的识别结果；其中，所述图像识别模型是基于附加模型在原始模型中的附加位置，将所述附加模型和所述原始模型进行融合得到的，所述附加模型和所述附加位置是从预设参数空间中确定的。

第三方面，本发明提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上述的图像识别方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的图像识别方法。

相对于现有技术，本发明预先从预设参数空间中确定附加模型和附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到图像识别模型，再将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行待识别对象的识别，以得到待识别图像中是否存在待识别对象的识别结果，本发明通过在原始模型的基础上融合附加模型，通过自动调整图像识别模型，使图像识别模型与当前运行环境更匹配，进而提高图像识别模型的识别率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种图像识别方法的流程示意图。

图2为本发明实施例提供的另一种图像识别方法的流程示意图。

图3为本发明实施例提供的两种附加模型的示例图。

图4为本发明实施例提供的另一种图像识别方法的流程示意图。

图5为本发明实施例提供附加模型和原始模型的融合示例图。

图6为本发明实施例提供的另一种图像识别方法的流程示意图。

图7为本发明实施例提供的另一种图像识别方法的流程示意图。

图8为本发明实施例提供的图像识别装置的方框示意图。

图9为本发明实施例提供的图像识别装置的具体实现示例图。

图10为本发明实施例提供的新的网络结构N(new)的示例图。

图11为本发明实施例提供的计算机设备的方框示意图。

图标：10-计算机设备；11-处理器；12-存储器；13-总线；14-通信接口；100-图像识别装置；110-获取模块；120-识别模块；130-生成模块；140-训练模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。

在图像识别模型实际开发的过程中，模型提供方训练图像识别模型采用的训练样本，要么是自己根据对实际场景的模拟生成的，要么是模型使用方提供的，一方面，该训练样本的数据量较小，另一方面，通常情况下，该训练样本和实际场景运行时的数据相差较大，最终导致模型提供方提供的训练后的图像识别模型的识别率不高。

为了提高图像识别模型在实际场景中的识别率，通常需要对图像识别模型进行优化，为了便于说明现有的优化方式，本发明实施例先对一些符号含义进行约定，如表1所示。

表1

基于上述表1中的符号，下面对通常采用的优化方式进行说明，主要包括以下几种：

(1)[D(new)&&D(ori)]+N(ori)+M(ori)->M(new)在算法模型上线后采集新场景的数据，反馈到算法训练侧与原始数据合并，然后原始模型中进行微调，得到原始模型的结构一致，但是参数经过重新训练。此方法在数据需要反馈到原始算法提供方存在隐私风险。

(2)D(new)+[N(new)]->M(new)基于新的数据重新训练算法模型，该方法相当于完全舍弃了之前原始模型的和数据信息，会一定程度的导致算法模型泛化性不够。此处的网络选用有可能是基于原始的网络结构，也有可能是重新设计训练。

(3)D(new)+[N(ori)||N(new)]->M(new)通过模型集成的方式，融合原始模型和新训练的模型，最后部署的模型包括M(ori)+M(new)，通过模型集成的方式来部署，该方式会导致算法推理耗时线性增加，对算力要求较高、实时性会变差。此处的模型可能是多个模型的组合，不是单纯的指代单个模型。

发明人基于对上述优化方式的实现过程及存在的缺点的仔细分析，提出了一种图像识别方法、装置、计算机设备及存储介质，其能够通过在原始模型的基础上融合附加模型，通过自动调整图像识别模型，使图像识别模型与当前运行环境更匹配，进而提高图像识别模型的识别率，下面将对其进行详细描述。

请参考图1，图1为本实施例提供的一种图像识别方法的流程示意图，该方法包括以下步骤：

步骤S100，获取待识别图像。

在本实施例中，待识别图像可以根据待识别对象的实际场景确定，例如，待识别对象为安全装备，其实际场景为施工工地，此时，待识别图像可以是施工工地的监控设备拍摄到的图像，也可以是从监控设备拍摄到的视频中确定出的待识别帧对应的图像。该待识别图像中，施工人员可能佩戴了安全装备，也可能未佩戴安全装备。在本实施例中，安全装备包括、但不限于安全帽、安全背心等。

需要说明的是，待识别对象也可以是车辆，其实际场景为交通监控，此时，待识别图像可以是从交通监控点的监控设备拍摄到的监控视频中确定的图像，该识别图像可能包括车辆，也可能不包括车辆。本发明实施例不对待识别对象进行限定。

步骤S110，将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行图像识别，以得到待识别图像中是否存在待识别对象的识别结果；其中，图像识别模型是基于附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到的，附加模型和附加位置是从预设参数空间中确定的。

在本实施例中，原始模型和上述M(ori)的含义类似，原始模型包括原始模型的结构(即上述N(ori))及原始模型的模型参数(即上述W(ori))。

在本实施例中，预设参数空间可以包括预设结构参数、预设位置及预设训练参数，预设结构参数用于确定附加模型的结构，例如，预设结构参数包括、但不限于附加模型的层数、附加模型中各层顺序、每层内部的卷积核数量、padding方式及下采样次数等，预设位置用于表征附加模型可以添加至原始模型的位置，预设训练参数用于确定训练图像识别模型时训练结束需要满足的一个或者多个预设训练条件，例如学习率参数、迭代次数等。

在本实施例中，图像识别模型和原始模型的模型结构不是完全不同，而是模型结构相似，例如，图像识别模型中的附加模型的各层顺序与原始模型中的特征提取块中的层的顺序一致，或者附加模型是原始模型中的特征提取块中的一部分等。图像识别模型可以通过微迁移增量学习的方式获取原始模型的知识，微迁移增量学习指的是修改的模型结构非常轻量易于采用知识迁移的方式实现模型的增量学习优化，因而，图像识别模型在训练和进行待识别对象识别的耗时均不会明显增加。

需要说明的是，根据训练时采用的样本及预先对样本标注的标签的不同，识别结果也会不同，以待识别对象为安全装备为例，图像识别模型也可以识别待识别图像中安全装备是否佩戴，在佩戴有安全装备的情况下，安全装备是否正确佩戴的识别结果。

本发明实施例提供的上述方法，通过在原始模型的基础上融合附加模型，通过自动调整图像识别模型，使图像识别模型与当前运行环境更匹配，进而提高图像识别模型的识别率。

本发明实施例还提供了一种具体从预设参数空间中确定附加模型及附加位置的实现方式，请参照图2，图2为本发明实施例提供的另一种图像识别方法的流程示意图，该方法包括以下步骤：

步骤S200，从多个预设位置中确定附加位置。

在本实施例中，原始模型中每一层输出的位置均可以是预设位置，例如，原始模型包括多个卷积层、多个采样层及多个池化层等，预设位置可以包括：每一卷积层输出的位置、每一采样层输出的位置以及每一池化层输出的位置中的一个或者多个位置。

在本实施例中，原始模型包括多个下采样层时，为了使最终的图像识别模型识别效率更高，预设位置可以设置于每一下采样层的输出位置，此时，作为一种从多个预设位置中确定附加位置的具体实施方式，实现方式可以是：从多个下采样层输出的位置中确定附加位置。

在本实施例中，附加位置的不同，最终得到的图像识别模型的运行效果也不一样，例如，如果采用较为浅层的特征层的输出(较为浅层的特征层指的是距离原始模型的数据输入点越近，则认为是越浅层的特征层，反之，则认为是较为深层的特征层)作为起点，则最后的性能提升会更加明显。采用的较为深层的特征层作为起点则在推理速度上会有部分优势，附加位置可以结合实际情况制定相应的确定规则。

步骤S210，从多个预设结构参数中确定目标结构参数。

在本实施例中，目标结构参数可以是预设结构参数中的一个或者多个。

步骤S220，根据目标结构参数的预设取值范围确定目标结构参数的目标取值。

在本实施例中，每一预设结构参数均具有对应的预设取值范围，例如，预设结构参数包括层数、卷积核数量，下采样次数，则层数的预设取值范围为：[10，20]，卷积核数量的取值范围为：[16，128]，下采样次数的取值范围为：[0，4]。

在本实施例中，目标结构参数的目标取值是在其预设取值范围通过贝叶斯采样确定的一个取值。

在本实施例中，确定附加位置的方式、确定目标结构参数的方式及确定目标结构参数的目标取值的方式均可以是按照预设规则确定的，预设规则可以是随机规则，也可以是贝叶斯采样规则，还可以是最初预设次数的确定方式采用随机规则确定，后续根据前预设次数中每次确定出的附加位置及附加模型与原始模型融合得到的图像识别模型的识别效果，利用贝叶斯采样规则选取附加位置及附加模型，使得最终得到识别效果好的图像识别模型的概率较高。

步骤S230，根据目标结构参数及目标取值确定附加模型。

在本实施例中，虽然根据目标结构参数及目标取值可以确定附加模型，但是此时确定的附加模型只是一个附加模型包括的基本单元，可以理解的是，为了保持附加模型与原始模型可以融合，根据其添加的位置的不同，其最终对应的附加模型也会有差别。

图3为本发明实施例提供的两种附加模型的示例图，图3(a)是特征保持的附加模型的示例图，图3(b)是多次下采样附加模型的示例图，其中，ConvModule 3/1的结构如图3(c)所示，代表卷积核为3偏移为1的模组，同理，ConvModule 1/1代表卷积核为1偏移为1的模组，该模组包括3层：卷积层(Conv)、激活层(ReLU)、批量标准化层(BN)。ConvModule3/2代表卷积核为3偏移为2的模组。也就是说，图3(a)的附加模型包括ConvModule 3/1和ConvModule 1/1两个模组，图3(b)的附加模型包括ConvModule 3/1、ConvModule 3/2和ConvModule 1/1三个模组。

需要说明的是，作为一种具体实施方式，对于图3(a)中特征保持的附加模型而言，在原始模型中需要添加附加模型的个数可以根据上述的确定规则进行确定，例如，随机规则或者贝叶斯采样规则或者先随机规则再贝叶斯采样规则等。对于图3(b)中的多次下采样附加模型的个数N可以根据其附加位置确定，以保证最终附加模型的输出和原始模型的输出满足融合条件，其中，一种具体的融合条件可以是附加模型的输出的图像的大小与原始模型的输出的图像的大小相同。

本发明实施例提供的上述方法，通过根据目标结构参数及目标取值确定附加模型，由此可以控制附加模型的复杂度来实现不同性能的需求，针对实时性要求比较高的场景，可以牺牲部分实时性能采用深层的特征和较为简单的结构。如果对于准确率要求比较高则可以采用浅层特征和相对复杂的附加模型的结构。

为了将附加模型和原始模型进行融合，本发明实施例还提供了一种具体融合的实现方式，请参照图4，图4为本发明实施例提供的另一种图像识别方法的流程示意图，该方法包括依稀步骤：

步骤S300，在附加位置插入附加模型。

步骤S310，利用全局池化层将附加模型的输出和原始模型的输出进行融合，得到图像识别模型。

在本实施例中，图5为本发明实施例提供附加模型和原始模型的融合示例图，原始模型包括4个特征提取块，预设位置包括每一个特征提取块的输出的位置：st1、st2、st3、st4，图5(a)是附加位置为st3时融合后的图像识别模型的示例图，图5(a)中，附加模型可以是图3(b)中N取值为1时的附加模型，即该附加模型包括一个附加单元，该附加单元由convModule3/1、convModule3/2、convModule1/1依次按序组成。图5(b)是附加位置为st1时融合后的图像识别模型的示例图，图5(b)中，附加模型可以是图3(b)中N取值为3时的附加模型，附加模型包括三个附加单元，该附加单元由convModule3/1、convModule3/2、convModule1/1依次按序组成。

以图5(a)为例，st3为附加位置，附加模型在st3处加入至原始模型中，附加模型的输出输入至原始模型的全局池化层，以实现原始模型和附加模型的融合，在对融合后的模型进行训练时，利用融合后的模型的全局池化层的输出结果和待识别图像中的标签通过损失函数判断层判断该输出结果是否正确，若不满足预设识别要求，则再次训练直至达到预设识别要求。

需要说明的是，图5只是一个示例图，在实际应用场景中，原始模型还可以包括大于4个或者小于等于4个的多个特征提取块，相应地，预设位置也根据特征提取块的个数或者实际预设规则的不同也有所增减，附加模型根据实际的调整也可以与图3中的附加模型的示例有所不同，其包括的附加单元的个数也会根据附加位置的不同而有所增减。

在本实施例中，为了使融合后的图像识别模型提供正常识别功能，本发明实施例还提供了一种训练图像识别模型的方法，请参照图6，图6为本发明实施例提供的另一种图像识别方法的流程示意图，该方法包括以下步骤：

步骤S400，获取训练集。

在本实施例中，训练集可以是训练原始模型采用的训练集，也可以是部署图像识别模型后，从图像识别模型的运行环境中收集的运行数据。

步骤S410，将训练集输入图像识别模型，保持图像识别模型中的原始模型的模型参数不变，利用预设训练参数的目标取值对附加模型的模型参数进行优化，得到训练后的图像识别模型，其中，预设训练参数的目标取值是根据预设训练参数的预设取值范围确定的。

在本实施例中，作为一种具体实施方式，附加模型的模型参数可采用MSRA的方式进行初始化，MSRA是神经网络中常用的一种初始化方式，是一个均值为0方差为2/n的高斯分布。

在本实施例中，预设训练参数可以包括学习率，其目标取值可以在[1e-4，1e-5]之间，预设训练参数还可以包括迭代次数，例如，迭代次数的取值可以是100次，迭代次数可以根据训练集的数据量进行调整。

本发明实施例提供的上述方法，由于保持了原始模型的模型参数不变，可以更多保留原始模型的信息，可以提高图像识别模型的保证能力，进而增强图像识别模型的泛化性能、以应对不同场景的任务。

在图6的基础上，本实施例还提供了一种获取训练集的具体实施方式，请参照图7，图7为本发明实施例提供的另一种图像识别方法的流程示意图，步骤S400包括以下子步骤：

子步骤S4001，从部署有图像识别模型的运行环境中收集运行数据。

子步骤S4002，将运行数据进行清洗和标注，得到训练集。

在本实施例中，对运行数据的清洗包括、不限于对运行数据中缺失的数据进行添补或者删除、对于冗余数据的删除等，若运行数据的数据量过大时，数据清洗还包括对于运行数据的集成、规约或者变换等方法。

在本实施例中，对于清洗后的运行数据进行标注，以待识别对象为安全装备为例，标注可以是否佩戴安全背心，也可以是佩戴安全背心是否正确等。

本发明实施例提供的上述方法，可以根据从部署有图像识别模型的运行环境中收集的运行数据生成训练集，所有的操作都是在运行环境的内部服务器(或者云)上完成的，避免了运行环境中的运行数据反馈到图像识别模型的提供方，很好地保护了用户数据隐私。

在本实施例中，在应用场景要求的图像识别模型的评估指标发生变化时，为了及时地对训练后的图像识别模型进行重新验证，以保证满足新指标的要求，本发明实施例还提供了一种对图像识别模型进行验证的具体实现方式，请参照图7，图7为本发明实施例提供的另一种图像识别方法的流程示意图，该方法包括以下步骤：

步骤S500，对训练后的图像识别模型进行验证，若训练后的图像识别模型未达到预设条件，则从预设参数空间中重新确定新的附加模型及新的附加模型在原始模型中的新的附加位置。

在本实施例中，预设条件可以是图像识别模型的运行效率或者新的识别率等。

在本实施例中，从预设参数空间中重新确定新的附加模型及新的附加模型在原始模型中的新的附加位置的实现方式在上文步骤S200～S230中已经描述，此处不再赘述。

需要说明的是，对于已经以SDK方式部署的图像识别模型，可以对图像识别模型的SDK进行解析，得到对应的原始模型，该原始模型包括原始模型的结构及原始模型的模型参数。也就是说，对于已经部署的图像识别模型，可以在部署的环境下根据实际运行环境自动确定新的附加模型，并将新的附加模型和原始模型进行融合，最后对融合后的图像识别模型再次进行训练，直至得到满足预设条件的图像识别模型。

步骤S510，将新的附加模型和原始模型进行融合，并将融合后的模型作为图像识别模型。

在本实施例中，将新的附加模型和原始模型进行融合的方式在上文步骤S300-S310中已经进行了详细描述，此处不再赘述。

步骤S520，利用新的附加位置替换附加位置、新的附加模型替换附加模型，并重复执行对图像识别模型进行训练的过程，直至训练后的图像识别模型达到预设条件，得到满足预设条件的图像识别模型。

本发明实施例提供的上述方法，可以对训练后的图像识别模型进行验证，在不满足预设条件时自动确定新的附加模型，并根据新的附加模型和新的附加位置对图像识别模型进行调整，以使最终得到的图像识别模型既满足预设条件又与当前的运行环境较好地匹配，提高了在当前的运行环境下的识别率。

需要说明的是，为了将训练后的图像识别模型重新部署到运行环境中，首先对训练后的图像识别模型进行结构转换，转换成适合部署的格式，然后，对转换后的图像识别模型进行剪枝和量化，使之可以在部署时得到加速，最后，将量化后的图像识别模型采用SDK生成器生成SDK形式，并将SDK形式的图像识别模型部署到目标环境中。

基于上述图像识别方法，本实施例以建筑工人是否穿戴合规检测作为一种具体应用场景，以待识别对象为安全背心为例，对上述图像识别方法的落地实施进行介绍。以施工工人进入工地必须穿安全背心为例，本实施例采用目标分类的方式来实现对的工人安全着装进行规范。本发明实施例先对该场景下使用的一些符号含义进行约定，如表2所示。

表2

训练使用的数据信息(穿安全背心/未穿安全背心)如表3所示。

表3

项目	原始数据D(ori)	新场景数据D(new)
			训练集	3435/17593	1173/845
测试集	741/1266	293/157

(1)训练原始模型。

采用两种方式训练原始模型：1.1)基于标准N(ori)resnet18和D(ori)得到M(ori)；1.2)b)基于M(ori)通过传统finetune微调的方式在新场景数据上做微调得到M(tune)。

(2)基于M(ori)添加passby结构训练M(new)。

2.1)基于M(ori)解析出网络结构文件N(ori)，权重参数文件W(ori)；

2.2)定位出N(ori)下采样的位置st_i；

2.3)根据i的大小即特征图下采样的次数以及设计passby结构；

2.4)将passby结构的输出和主干的最后输出在全局池化层GAP(global averagepooling，GAP)之前融合，得到N(new_sti)；

2.5)用W(ori)去初始化N(new_sti)中原始网络部分的权重，新添加的passby结构采用MSRA进行初始化。

(3)按照上述实施例中的方法训练N(new_sti)得到M(new_sti)。

评判上述所有的模型性能的两个指标为Acc.和F1_score，其中：

TP：标签为穿安全背心，预测值也为穿了安全背心

FP：标签为未穿安全背心，预测值穿了安全背心

TN：标签为穿安全背心，预测值为未穿安全背心

FN：标签为未穿安全背心，预测值也未穿安全背心

(其中

)

按照上述两个指标，对各模型的性能进行统计，如表4所示。

表4

模型	原始数据D(ori)	新场景数据D(new)
			M(ori)	92.33/91.50	49.56/53.87
M(tune)	74.89/73.13	75.39/75.44
			M(new_st1)	87.84/86.91	86.55/87.25
M(new_st2)	85.56/84.17	84.26/83.56
			M(new_st3)	81.11/79.59	84.30/83.71
M(new_st4)	81.33/79.690	80.67/80.32

通过表4可以看出如下结论：

3.1)从第一行数据中得出，该算法模型在实际落地场景中的性能下降较大。

3.2)对比前两行数据，通过传统的微调finetune可以一定程度上的优化模型在新场景下的性能。

3.3)对比一和后面四行可以知，通过微迁移添加passby结构的方式可以显著提高原始模型在新场景下的指标性能，且能保持模型在原始数据集上的性能不下降太大，这一定程度上保持了模型的泛化性能。

3.4)对比第二行和后面四行可以得出，通过微迁移的方式对于模型的性能的提升更为比采用传统的finetune方式更为显著。

3.5)单独对比后面四行，不同位置添加passby结构效果也会有差异，对比表格数据可知，采用越浅层的特征图做passby结构的起点性能越好，其实也和容易理解因为浅层特征包含图像原始信息较多，可训练程度更大。

(4)各模型的速度和显存消耗对比。

各模型的速度和显存消耗对比如表5所示。

表5

其中，表格中各表项含义为：

Params:模型中可训练的参数量；

FLOPs:模型中浮点数加法和乘法(单次乘操作记为两次加)操作的总量；

Size:模型存储时占据磁盘空间大小；

Meme.:模型记载进入到显存中所消耗显存量，由于其他程序的公用显卡肯能不够精确；

Speed:模型前向推理速度，速度测试是以batchsize＝1前向N＝100次求取平均值；

采用的测试软件和硬件环境为：OS：Ubuntu16.04LTS+cuda10.2+cudnn7.2；Hardware：UNISINSIGHT R6120S G3+Tesla V100-PCIE。

(5)对比结果分析。

5.1)通过添加passby分支结构的方式修改模型，不会对原始模型的大小产生显著的改变；

5.2)添加passby结构的方式不会对模型推理的速度造成明显影响；

5.3)结合上述关于准确率提升的对比试验，可以该方式可以较好的实现简单增量学习任务；

5.4)passby结构设计可以根据实际情况通过神经网络架构搜索NAS(Neuralarchitecture search，NAS)技术均衡优化速度和准确率。

为了执行上述实施例及各个可能的实施方式中图像识别方法的相应步骤，下面给出一种图像识别装置100的实现方式。请参照图8，图8示出了本发明实施例提供的图像识别装置100的方框示意图。需要说明的是，本实施例所提供的图像识别装置100，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及指出。

图像识别装置100包括获取模块110、识别模块120、生成模块130及训练模块140。

获取模块110，用于获取待识别图像。

识别模块120，用于将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行图像识别，以得到待识别图像中是否存在待识别对象的识别结果；其中，图像识别模型是基于附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到的，附加模型和附加位置是从预设参数空间中确定的。

生成模块130，用于：从多个预设位置中确定附加位置；从多个预设结构参数中确定目标结构参数；根据目标结构参数的预设取值范围确定目标结构参数的目标取值；根据目标结构参数及目标取值确定附加模型，其中，预设参数空间包括多个预设位置及多个预设结构参数，每一预设结构参数均具有对应的预设取值范围。

作为一种具体实施方式，原始模型包括多个下采样层，每一预设位置对应每一下采样层输出的位置，生成模块130具体用于：从多个下采样层输出的位置中确定附加位置。

生成模块130还用于：在附加位置插入附加模型；利用全局池化层将附加模型的输出和原始模型的输出进行融合，得到图像识别模型。

训练模块140，用于：获取训练集；将训练集输入图像识别模型，保持图像识别模型中的原始模型的模型参数不变，利用预设训练参数的目标取值对附加模型的模型参数进行优化，得到训练后的图像识别模型，其中，预设训练参数的目标取值是根据预设训练参数的预设取值范围确定的，预设参数空间还包括预设训练参数，预设训练参数具有对应的预设取值范围。

作为一种具体实施方式，训练模块140还用于：对训练后的图像识别模型进行验证，若训练后的图像识别模型未达到预设条件，则从预设参数空间中重新确定新的附加模型及新的附加模型在原始模型中的新的附加位置；将新的附加模型和原始模型进行融合，并将融合后的模型作为图像识别模型；利用新的附加位置替换附加位置、新的附加模型替换附加模型，并重复执行对图像识别模型进行训练的过程，直至训练后的图像识别模型达到预设条件，得到满足预设条件的图像识别模型。

作为一种具体实施方式，训练模块140具体用于：从部署有图像识别模型的运行环境中收集运行数据；将运行数据进行清洗和标注，得到训练集。

在本实施例中，结合图像的识别装置部署的应用场景，作为一种具体实施方式，本实施例还给出了图像识别装置100另一种具体实现方式，请参照图9，图9示出了本发明实施例提供的图像识别装置100的具体实现示例图，图像识别装置100包括解析器、构建器、训练器、评估器、部署器、动态搜索代理NAS Proxy，NAS Proxy包括动态更新参数推荐模型，该模型负责从Passby可优化参数空间Dp(即预设参数空间)确定推荐Dp(即目标结构参数极其目标取值)。其中，构建器、训练器、评估器及动态搜索代理也可以合称为NAS，解析器包括权重参数解析器和网络结构解析器，构建器包括网络构建器，训练器包括优化器和调度器，评估器包括性能度量器，部署器包括模型后处理器、SDK生成器，图像识别装置100的具体实现过程描述如下：

(1)准备好训练所需的N(ori)，M(ori)，D(new)。

1.1)解析器通过原始部署SDK(即模型提供商提供的SDK形式的原始模型)中解析得到原始模型的网络结构的定义N(ori)；

1.2)解析器通过原始部署SDK中解析得到原始模型的网络参数权重的定义W(ori)；

1.3)收集新场景(以待识别对象为安全装备为例，新场景即部署安全装备的识别模型的运行环境)下的数据D(new)，并且完成数据清洗、标注，提供后续训练使用。

(2)设计passby结构(即附加模型)，构建器根据原始模型结构和NAS Proxy从Passyby可优化参数空间Dp(即预设参数空间)推荐的Dp(即目标参数及对应的目标取值)自动生成passby结构。

2.1)解析N(ori)得到网络中不同预设位置，即网络结构中每次下采样之后的位置，此处记为st_i其中，i∈{1,2,3,4}，i表示特征图的下采样的次数。

2.2)st_i作为添加passby结构的起点，根据附加位置的不同设计不同的passby结构。用于处理不同附加位置的特征图。具体地，以一般的CNN结构一般会有k∈{4,5}次的下采样，选取越浅层st_i输出作为passby结构起点，相应的passby结构也需要加入与之对应的下采样次数，以保证最后的特征图维度相容。

2.3)设计预设参数空间D，抽象上一步中的预设位置，以及passby结构的结构参数，如结构的层数、不同的层顺序、每层内部的卷积核数量、padding方式、下采样次数等，给每个参数设定一个合理的范围，此处称之为预设参数空间。

2.4)从预设参数空间中采样一个样本点，即可以得到完整定义一个passby结构的参数字典Dp。将采样得到参数字典传递给构建器，即可得到一个定义好的passby结构用于后续训练。

(3)构建完整网络(即图像识别模型，以待识别对象为安全装备为例，即安全装备的识别模型)，将passby结构的输出在网络主干的尾部与原始网络(即原始模型)的特征图做一个融合，得到新的网络结构N(new)，以预设位置为st3为例，N(new)的结构如图10所示。

(4)N(new)的训练，训练器基于新数据D(new)和新网路结构N(new)以及原始模型权重参数W(ori)训练得到新模型。

4.1)用原始模型中的权重参数W(ori)去初始化N(new)网络结构中原始结构部分N(ori)，新添加的passby结构采用MSRA的初始化方式。

4.2)将N(new)中原始结构部分权重参数固定，在训练过程中不对其进行更新。此操作可以更多保留原始模型的信息，可以增强模型的泛化性能以应对不同场景的任务。

4.3)调整优化器学习率参数在[1e-4,1e-5]之间，并且同时根据数据量调整数据迭代次数配置。

4.4)启动训练器，训练新的N(new)，最终得到M(new)。

(5)定期调用评估器对模型效果进行评估，评估器的指标表示为Perf，如果模型达到指定要求，则终止训练，节约计算资源，导出模型进行下一步操作。

(6)如果模型性能P不达标，则将(Dp，Perf)反馈给NAS Proxy(自动参数搜索代理)。NAS Proxy功能是接收参数对(Dp，Perf)然后通过对其优化建模，得到模型可以输出用于(2)中新的Dp采样。重复(2)-(5)步骤直至模型达标或者训练时间终止。

(7)得到达标的M(new)模型之后，将M(new)处理部署到新场景中。

7.1)通过模型后处理器对原始模型进行结构转换，转换成适合部署的格式；

7.2)通过模型量化器对转换后的模型进行剪纸和量化，使之可以在部署时得到加速；

7.3)得到量化模型后，采用SDK生成器生成SDK部署到目标环境中。

本发明实施例还给出了计算机设备10的方框示意图，请参照图11，图11为本发明实施例提供的计算机设备10的方框示意图，计算机设备10包括处理器11、存储器12、总线13、通信接口14。处理器11、存储器12通过总线13连接，处理器11通过通信接口14与外部设备通信。

处理器11可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储器12用于存储程序，例如本发明实施例中的图像识别装置100，图像识别装置100均包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块，处理器11在接收到执行指令后，执行所述程序以实现本发明实施例中的图像识别方法。

存储器12可能包括高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非易失存储器(non-volatile memory)。可选地，存储器12可以是内置于处理器11中的存储装置，也可以是独立于处理器11的存储装置。

总线13可以是ISA总线、PCI总线或EISA总线等。图11仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述的图像识别方法。

综上所述，本发明实施例提供了一种图像识别方法、装置、计算机设备及存储介质，所述方法包括：获取待识别图像；将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行图像识别，以得到待识别图像中是否存在待识别对象的识别结果；其中，图像识别模型是基于附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到的，附加模型和附加位置是从预设参数空间中确定的。相对于现有技术，本发明实施例预先从预设参数空间中确定附加模型和附加模型在原始模型中的附加位置，将附加模型和原始模型进行融合得到图像识别模型，再将待识别图像输入预先训练的图像识别模型，利用图像识别模型对待识别图像进行图像识别，以得到待识别图像中是否存在待识别对象的识别结果，本发明实施例通过在原始模型的基础上融合附加模型，通过自动调整图像识别模型，使图像识别模型与当前运行环境更匹配，进而提高图像识别模型的识别率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种图像识别方法，其特征在于，所述方法包括：

获取待识别图像；

将所述待识别图像输入预先训练的图像识别模型，利用所述图像识别模型对所述待识别图像进行图像识别，以得到所述待识别图像中是否存在待识别对象的识别结果；

其中，所述图像识别模型是基于附加模型在原始模型中的附加位置，将所述附加模型和所述原始模型进行融合得到的，所述附加模型和所述附加位置是从预设参数空间中确定的。

2.如权利要求1所述的图像识别方法，其特征在于，所述预设参数空间包括多个预设位置及多个预设结构参数，每一所述预设结构参数均具有对应的预设取值范围；

从预设参数空间中确定附加模型及所述附加位置的方式，包括：

从所述多个预设位置中确定所述附加位置；

从所述多个预设结构参数中确定目标结构参数；

根据所述目标结构参数的预设取值范围确定所述目标结构参数的目标取值；

根据所述目标结构参数及所述目标取值确定所述附加模型。

3.如权利要求2所述的图像识别方法，其特征在于，所述原始模型包括多个下采样层，每一所述预设位置对应每一所述下采样层输出的位置；

所述从所述多个预设位置中确定所述附加位置的步骤，包括：

从多个所述下采样层输出的位置中确定所述附加位置。

4.如权利要求2所述的图像识别方法，其特征在于，所述原始模型还包括全局池化层，基于所述附加位置，将所述附加模型和所述原始模型进行融合的方式，包括：

在所述附加位置插入所述附加模型；

利用所述全局池化层将所述附加模型的输出和所述原始模型的输出进行融合，得到图像识别模型。

5.如权利要求2所述的图像识别方法，其特征在于，所述预设参数空间还包括预设训练参数，所述预设训练参数具有对应的预设取值范围；

所述图像识别模型是通过如下方式训练的：

获取训练集；

将所述训练集输入所述图像识别模型，保持所述图像识别模型中的所述原始模型的模型参数不变，利用所述预设训练参数的目标取值对所述附加模型的模型参数进行优化，得到训练后的图像识别模型，其中，所述预设训练参数的目标取值是根据所述预设训练参数的预设取值范围确定的。

6.如权利要求5所述的图像识别方法，其特征在于，所述方法还包括：

对所述训练后的图像识别模型进行验证，若所述训练后的图像识别模型未达到预设条件，则从所述预设参数空间中重新确定新的附加模型及所述新的附加模型在所述原始模型中的新的附加位置；

将所述新的附加模型和所述原始模型进行融合，并将融合后的模型作为所述图像识别模型；

利用所述新的附加位置替换所述附加位置、所述新的附加模型替换所述附加模型，并重复执行对所述图像识别模型进行训练的过程，直至训练后的所述图像识别模型达到预设条件，得到满足所述预设条件的所述图像识别模型。

7.如权利要求5所述的图像识别方法，其特征在于，所述获取训练集的步骤包括：

从部署有所述图像识别模型的运行环境中收集运行数据；

将所述运行数据进行清洗和标注，得到所述训练集。

8.一种图像识别装置，其特征在于，所述装置包括：

获取模块，用于获取待识别图像；

识别模块，用于将所述待识别图像输入预先训练的图像识别模型，利用所述图像识别模型对所述待识别图像进行图像识别，以得到所述待识别图像中是否存在待识别对象的识别结果；

9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的图像识别方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的图像识别方法。