CN113327195A - 图像处理、图像处理模型训练、图像模式识别方法和装置 - Google Patents

Abstract

本发明公开了一种图像处理、图像模式识别、图像处理模型训练方法和装置。所述图像处理方法包括：根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；将所述待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。能够对图像尺寸进行自适应调整，不会导致图像变形和特征丢失，从而提高图像识别的准确率。

Description

图像处理、图像处理模型训练、图像模式识别方法和装置

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理、图像处理模型训练、图像模式识别方法和装置。

背景技术

在图像分类、场景识别等图像处理过程中，输入的多个图像很难保证尺寸一致，图像的宽高比也会存在差异，为了统一图像尺寸和宽高比，经常需要进行图像缩放调整，现有技术中，当输入图像的宽高比存在差异时，对图像进行缩放调整的方式有：

(1)通过插值技术将不同尺寸的图像缩放到统一的尺寸和宽高比，这种方式会导致有些图像中的内容大幅度变形。例如：输入图像中，有如图1所示的宽高比为13：3的划痕状缺陷图像，也有如图2所示的宽高比为4:3的点状缺陷图像，将这些图像缩放到统一的目标尺寸和相同的宽高比，图1中的图像缩放后得到的图像如图3所示，图2中的图像缩放后得到图像如图4所示，此时，会导致原来宽高比为13:3的图像内容大幅度变形，划痕状缺陷所有具有的特质被抑制了，图像识别时精确度也会受到影响。

(2)通过插值技术将不同尺寸的图像保持宽高比缩放到指定宽度或高度，然后填充图像外侧，使之变成统一的尺寸和宽高比的图像，这种方式会导致缩放后的图像中出现大量的干扰信息，影响后续图像识别的精度和图像分类的准确性。沿用上边的例子，图1中的图像缩放到统一宽度后得到的图像如图5所示，需要在高度方向上进行大面积的填充，会带来很多干扰信息，且填充区域与图像区域的边界会有非常强烈的梯度信息，图像细节也会剧烈损失，对图像的识别准确度会造成极大的影响。

(3)通过分块的方式，将输入图像划分为若干个重叠或不重叠的子图，每个子图的尺寸或宽高比相同或近似。这种方式需要分块进行图像识别，在融合识别处理结果，会带来更多复杂的后需处理步骤，增加算法的复杂性，对准确率、鲁棒性也会有不利影响。

可见，现有技术中，当输入的待处理图像存在宽高比差异时，将其缩放到统一的目标尺寸，会存在图像变形、图像特征丢失、引入干扰信息等影响图像精确识别的因素，导致图像识别的准确率低。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理、图像处理模型训练、图像模式识别方法和装置。

本发明实施例提供一种图像处理方法，其特征在于，包括：

根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；

根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；

将所述待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

在一些可选的实施例中，所述根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇，包括：

根据待识别图像的宽高比和每个图像聚类簇对应的宽高比范围，分别确定每个待识别图像所属的图像聚类簇。

在一些可选的实施例中，根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型，包括：

根据所述图像聚类簇对应的形状特征参数的取值范围，确定对应的图像处理模型的尺寸和模型参数；

基于所述模型参数初始化图像处理模型，实现加载相应尺寸的图像处理模型。

在一些可选的实施例中，所述待识别图像的形状特征参数，包括图像宽高比、对角线的像素长度、最长边的像素长度中的至少一个。

本发明实施例还提供一种图像处理装置，其特征在于，包括：

图像聚类模块，用于根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；

模型初始化模块，用于根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；

图像处理模块，用于将所述待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

本发明实施例还提供一种图像处理系统，包括：上述的图像处理装置、神经网络处理引擎和图像处理模型；

所述图像处理装置确定待识别图像所属的图像聚类簇后，调用神经网络处理引擎来实现基于与所述图像聚类簇对应的形状特征参数的取值范围，使用相应的模型参数初始化图像处理模型。

本发明实施例还提供一种图像模式识别方法，包括：

使用如权利要求1-4任一项所述的图像处理方法对待识别图像进行缩放处理；

识别得到的指定目标尺寸的图像中的指定图像元素。

本发明实施例还提供一种一种图像模式识别装置，包括：上述的图像处理装置和元素识别模块；

所述图像处理装置，用于对待识别图像进行缩放处理，得到指定目标尺寸的图像；

所述元素识别模块，用于识别得到的指定目标尺寸的图像中的指定图像元素。

本发明实施例还提供一种图像处理模型训练方法，包括：

将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；每个图像样本聚类簇对应所述形状特征参数的一个取值范围；

依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

在一些可选的实施例中，所述将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇，包括：

根据每个图像样本的宽高比对图像样本进行排序，得到图像样本宽高比的统计数据；

对图像样本宽高比的统计数据进行分析，确定图像样本聚类簇簇数K和每个图像样本聚类簇对应的宽高比取值范围，K为正整数；

根据每个图像样本聚类簇对应的宽高比取值范围，将每个图像样本聚类到不同的图像样本聚类簇中，得到K个图像样本聚类簇。

在一些可选的实施例中，依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型，包括：

从K个聚类簇中随机选择一个图像样本聚类簇，从该图像样本聚类簇中随机选择多个图像样本，作为当前训练批次的图像样本；

使用当前训练批次的图像样本训练指定的图像处理模型，得到满足预设条件的图像处理模型时，记录该图像样本聚类簇的形状特征参数取值范围、对应的图像处理模型尺寸和模型参数；

返回继续执行从K个聚类簇中随机选择一个图像样本聚类簇的步骤，直至训练得到K个图像样本聚类簇对应的图像处理模型。

本发明实施例还提供一种图像处理模型训练装置，包括：

样本聚类模块，用于将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；每个图像样本聚类簇对应所述形状特征参数的一个取值范围；

模型训练模块，用于依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的图像处理方法、上述的图像模式识别方法和上述的图像处理模型训练方法中的至少一个。

本发明实施例还提供一种图像处理设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像处理方法、上述的图像模式识别方法和上述的图像处理模型训练方法中的至少一个。

本发明实施例提供的上述技术方案的有益效果至少包括：

本发明实施例提供的图像处理方法，对待识别图像，基于形状特征参数进行聚类分簇，针对形状特征参数的不同取值范围将图像处理模型初始化为不同的模型尺寸，使用相应尺寸的图像处理模型对图像进行处理，在将图像调整处理到统一目标尺寸的过程中，不会导致图像变形和特征丢失，也不会引入多余的干扰信息，在后续图像识别时，能够准确的识别图像中的元素，图像识别准确率高。

本发明实施例提供的图像处理模型训练方法，在进行模型训练时，基于形状特征参数对图像样本进行聚类分簇，分别使用各个的图像样本聚类簇训练图像处理模型，将每个聚类簇训练出的图像处理模型和对应的形状特征参数的取值范围建立对应关系，并存储，在使用时，可以针对不同尺寸的图像将模型初始化为不同的模型尺寸，从而避免图像处理时导致图像变形和特征丢失，也不会引入多余的干扰信息，提高图像识别的准确率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为现有技术中长条状的划痕状缺陷图像的示例图；

图2为现有技术中点条状的划痕状缺陷图像的示例图；

图3为现有技术中图1缩放后的示例图；

图4为现有技术中图2缩放后的示例图；

图5为现有技术中图1缩放填充后的示例图；

图6为本发明实施例一中图像处理方法的流程图；

图7为本发明实施例一中图像处理系统的结构示意图；

图8为本发明实施例一中图像处理装置的结构示意图；

图9为本发明实施例二中图像模式识别方法的流程图；

图10为本发明实施例二中图像模式识别装置的结构示意图；

图11为本发明实施例三中图像处理模型训练方法的流程图；

图12为本发明实施例三中图像处理模型训练装置的结构示意图；

图13为本发明实施例四中图像处理模型的结构示例图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图像模式识别一般是针对一幅图像做出分析，其输出结果一般为特征张量或分类结果等，可以应用于场景识别或图像分类等。为了解决现有技术中存在的图像识别处理时，由于图像宽高比差异导致的图像缩放处理到统一的目标尺寸和形状时，现有处理方式可能会导致图像变形、特征丢失或引入干扰信息等问题，本发明实施例提供一种图像处理方法，能够基于图像尺寸对图像进行自适应调整，避免图像变形、特征丢失和引入干扰信息等问题，提高图像识别处理的准确率。

具体而言，本发明旨在解决一种输入图像宽高比例各异情况下，例如在输入图像具有极大或极小宽高比的情况下，为保证图像细节不受损失，同时不引入其他额外输入或计算，保持图像中的内容不发生变形的情况下，进行图像模式识别及图像处理模型的训练。从算法角度上看，该方法准确率好，易于训练和收敛；从工程上来看，该方法避免动态修改卷积神经网络带来的开销，因为在嵌入式或移动设备上，动态修改网络已适配不同输入图像尺寸是非常耗时的，本发明避免了这种开销，且没有引入其他额外输入和计算。

下面通过具体的实施例进行详细描述。

实施例一

本发明实施例一提供一种图像处理方法，其流程如图6所示，包括如下步骤：

步骤S101：根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇。

本发明实施例中可以根据图像的形状特征对图像进行聚类分簇，以图像特征参数是宽高比为例，可以根据图像的宽高比，将具有不同宽高比的图像进行聚类分簇，得到对应于不同宽高比范围的图像聚类簇。具体的，根据待识别图像的宽高比和每个图像聚类簇对应的宽高比范围，分别确定每个待识别图像所属的图像聚类簇。

可选的，除了根据宽高比进行聚类分簇外，还可以根据图像的其他现状特征参数进行聚类分簇。也就是说，在聚类分簇时，待识别图像的形状特征参数可以包括图像宽高比、对角线的像素长度、最长边的像素长度中的至少一个。

步骤S102：根据与图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型。

本发明实施例中，针对具有不同宽高比的图像可以采用不同尺寸的图像处理模型进行处理，在步骤S101确定待识别图像所属的图像聚类簇后，根据所属图像聚类簇对应的宽高比的取值范围，确定采用的图像处理模型的尺寸，来初始化图像处理模型。

具体的，根据图像聚类簇对应的形状特征参数的取值范围，确定对应的图像处理模型的尺寸和模型参数；基于模型参数初始化图像处理模型，实现加载相应尺寸的图像处理模型。

其中，图像处理模型是预先训练好的，可以是采用全卷积神经网络或其他技术的图像处理模型，这里对图像处理模型采用的神经网络不做限定，该图像处理模型可以理解为是由多个尺寸的图像处理模型组成的，可以根据需求动态的加载不同尺寸的图像处理模型。

步骤S103：将待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

使用相应模型参数初始化图像处理模型后，可以采用初始化后的图像处理模型处理待识别图像，比如对图像进行缩放处理，对于不同宽高比的图像可以采用不同尺寸的图像处理模型进行缩放处理，从而保证图像缩放后不会变形、也不需要引入干扰信息，也能尽可能的减少特征丢失。

基于同一发明构思，本发明实施例还提供一种图像处理系统，其结构如图7所示，包括：图像处理装置1、神经网络处理引擎2和图像处理模型3。

图像处理装置1确定待识别图像所属的图像聚类簇后，调用神经网络处理引擎2来实现基于与图像聚类簇对应的形状特征参数的取值范围，使用相应的模型参数初始化图像处理模型3。

其中，图像处理装置1的结构如图8所示，包括：

图像聚类模块11，用于根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；

模型初始化模块12，用于根据与图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；

图像处理模块13，用于将待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

可选的，图像聚类模块11，具体用于根据待识别图像的宽高比和每个图像聚类簇对应的宽高比范围，分别确定每个待识别图像所属的图像聚类簇。

可选的，模型初始化模块12，具体用于根据所述图像聚类簇对应的形状特征参数的取值范围，确定对应的图像处理模型的尺寸和模型参数；

基于所述模型参数初始化图像处理模型，实现加载相应尺寸的图像处理模型。

本实施例的上述方法和装置，对待识别图像，基于形状特征参数进行聚类分簇，针对形状特征参数的不同取值范围将图像处理模型初始化为不同的模型尺寸，使用相应尺寸的图像处理模型对图像进行处理，在将图像调整处理到统一目标尺寸的过程中，不会导致图像变形和特征丢失，也不会引入多余的干扰信息，在后续图像识别时，能够准确的识别图像中的元素，图像识别准确率高。

实施例二

本发明实施例二提供一种图像模式识别方法，其流程如图9所示，包括如下步骤：

步骤S201：根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇。

步骤S202：根据与图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型。

步骤S203：将待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

步骤S201-步骤S203参照实施例一中的相关描述，此处不再赘述。

步骤S204：识别得到的指定目标尺寸的图像中的指定图像元素。

使用实施例一种的图像处理方法对待识别图像进行缩放处理后，对图像中的元素进行识别，例如识别图像中的人像，或识别图像中的人头数量等等。该方法缩放后的图像缩放比例比较合适，图像中的元素不会变形，因此识别会更准确。

基于同一发明构思，本发明实施例还提供一种图像模式识别装置，其结构如图10所示，包括：图像处理装置1和元素识别模块21；

图像处理装置1，用于对待识别图像进行缩放处理，得到指定目标尺寸的图像；

元素识别模块21，用于识别得到的指定目标尺寸的图像中的指定图像元素。

本实施例的上述方法和装置，对图像进行模式识别时，能够基于图像的形状特征参数进行尺寸调整和处理，处理后的图像中的元素不会变形或丢失特征，从而能够准确的识别图像中的元素，提高识别处理的准确率。

实施例三

本发明实施例三提供一种图像处理模型训练方法，其流程如图11所示，包括如下步骤：

步骤S301：将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；

本发明实施例中，每个图像样本聚类簇对应形状特征参数的一个取值范围；基于此，具体不同形状特征参数的图像样本可以归属到不同的图像聚类簇中，并对每个图像样本聚类簇的形状调整参数取值范围进行记录。

该步骤中，可以根据每个图像样本的宽高比对图像样本进行排序，得到图像样本宽高比的统计数据；对图像样本宽高比的统计数据进行分析，确定图像样本聚类簇簇数K和每个图像样本聚类簇对应的宽高比取值范围，K为正整数；根据每个图像样本聚类簇对应的宽高比取值范围，将每个图像样本聚类到不同的图像样本聚类簇中，得到K个图像样本聚类簇。

可以将图像样本按照宽高比从大到小或从小到大的顺序进行排序，形成单调序列，在进行统计时，可以使用直方图等方式进行统计，对直方图进行分析确定聚类簇的簇数，并根据确定的簇数对图像样本进行聚类分簇。图像聚类分簇时，也可以采用K最近邻(KNN，K-NearestNeighbor)分类算法进行数据挖掘分类，当然也可以采用其他的算法进行数据挖掘分类，具体采用的分类算法也不做限定。

步骤S302：依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

该步骤中训练图像处理模型时，可以从K个聚类簇中随机选择一个图像样本聚类簇，从该图像样本聚类簇中随机选择多个图像样本，作为当前训练批次的图像样本；使用当前训练批次的图像样本训练指定的图像处理模型，得到满足预设条件的图像处理模型时，记录该图像样本聚类簇的形状特征参数取值范围、对应的图像处理模型尺寸和模型参数；返回继续执行从K个聚类簇中随机选择一个图像样本聚类簇的步骤，直至训练得到K个图像样本聚类簇对应的图像处理模型。

也就是说在进行模型训练时，从K个图像样本聚类簇中随机选择一个聚类簇，使用选择聚类簇中的图像样本组成待训练样本，来训练选择的图像处理模型，一个聚类簇的图像样本作为一个训练批次，训练一个对应尺寸的图像处理模型，依次使用每个图像样本聚类簇中的图像样本训练图像处理模型，从而训练处每个形状特征参数取值范围对应的图像处理模型，并建立形状特征参数取值范围与图像处理模型的对应关系，并将形状特征参数取值范围以及对应的图像处理模型存储记录下来，以备后续使用时进行加载。

基于同一发明构思，本发明实施例还提供一种图像处理模型训练装置，其结构如图12所示，包括：

样本聚类模块31，用于将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；每个图像样本聚类簇对应形状特征参数的一个取值范围；

模型训练模块32，用于依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

可选的，样本聚类模块31，具体用于根据每个图像样本的宽高比对图像样本进行排序，得到图像样本宽高比的统计数据；对图像样本宽高比的统计数据进行分析，确定图像样本聚类簇簇数K和每个图像样本聚类簇对应的宽高比取值范围，K为正整数；根据每个图像样本聚类簇对应的宽高比取值范围，将每个图像样本聚类到不同的图像样本聚类簇中，得到K个图像样本聚类簇。

可选的，模型训练模块32，具体用于从K个聚类簇中随机选择一个图像样本聚类簇，从该图像样本聚类簇中随机选择多个图像样本，作为当前训练批次的图像样本；使用当前训练批次的图像样本训练指定的图像处理模型，得到满足预设条件的图像处理模型时，记录该图像样本聚类簇的形状特征参数取值范围、对应的图像处理模型尺寸和模型参数；返回继续执行从K个聚类簇中随机选择一个图像样本聚类簇的步骤，直至训练得到K个图像样本聚类簇对应的图像处理模型。

本实施例中的图像处理模型训练，实质上是针对不同的宽高比训练一系列不同尺寸的图像处理模型，并记录不同宽高比对应的图像处理模型的尺寸，以便后续对图像进行处理时加载不同尺寸的图像处理模型来对图像进行处理，能够得到尽可能好的处理后的图像，保证能够准确识别处理后的图像。

实施例四

本发明实施例四提供上述图像处理模型训练方法的一种具体实现过程，可以训练出一种图像处理模型尺寸可以动态调节的图像处理模型，这种图像处理模型实质上可以理解为是由多个尺寸的图像处理模型组成的，可以根据需求动态的加载不同尺寸的图像处理模型。每个图像处理模型对应一个图像聚类簇，每个图像聚类簇有相应的形状特征参数范围，本实施例中以图像形状特征参数是宽高比为例进行描述。

在本实施例中，以采用全卷积神经网络(Fully Convolutional Networks，FCN)为例来进行说明，FCN是一种用于图像语义分割的框架，其在CNN卷积部分不用全连接而是采用1x1卷积。其中，全连接是指网络全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。由于全连接算子的特点，具有这一类算子的卷积神经网络是不能动态调整尺寸的。

首先，对待训练的样本图像进行预处理。

图像预处理比较重要的一步就是对待训练数据集中的样本图像进行排序，针对每个样本图像，根据样本图像的宽w和高h计算宽高比。

计算宽高比时可以做如下定义：如果h≥w，则宽高比为ratio＝h/w；如果h<w，则宽高比为ratio＝-w/h；这种计算方式可以使图像在竖画幅两个向上对称分布。

计算训练数据集中每个样本图像的宽高比后，根据宽高比对全部样本图像进行排序，可以按照宽高比从大到小的顺序排序，也可以按照从小到大的顺序进行排序，最终形成单调序列，并生成统计直方图。生成的直方图横坐标可以是宽高比，纵坐标可以是每个宽高比对应的样本图像的数量。

统计生成直方图后，可以使用聚类技术，对直方图进行分析，确定样本图像聚类簇数K并实现聚类，在一种实施例中可以采用calinski_harabaz分数与KNN作为计算K和聚类的方法。样本图像聚类簇的数量可以根据需要设定，可以参照宽高比的差异大小确定，也可以参照每个宽高比上的样本图像数量确定。

最终每一幅待训练样本图像都可以确定其所在的样本图像聚类簇，从而实现将待训练数据集中的样本图像归类到K个聚类簇中，每个聚类簇中包括一定宽高比范围的样本图像，这里的宽高比范围可以是一个数值范围，也可以是某一个具体的宽高比数值。例如一个聚类簇对应的宽比为4：3，或者一个聚类簇对应的宽比在8：5～8：6之间。对每个聚类簇的宽高比范围进行记录。

然后，利用聚类分簇后的样本图像训练图像处理模型。

本实施例中，以图像处理模型为神经网络模型为例进行说明，在实际应用中，并不限制具体采用哪种全卷积神经网络(FCN)结构组成神经网络模型(Backbone)，FCN的一种可选的实现结构如图13所示，前端FCN与后端Post FC相连接，其中，前端FCN参见图13中的FCN结构(FCN struct)，待训练图像输入到前端FCN，参见图13中的input；后端Post FC为后处理模型，输出图像处理结果。中间使用算子(ReduceMean)归一化所在层的张量形状。在一些可选的实施例中，也可以采用全局平均池化(GlobalAveragePool)层来实现连接前端FCN与后端PostFC。

图像处理模型训练的一个关键特点在于数据组织的“两个随机”：随机选择训练数据集中的一个图像聚类簇以及从该聚类簇中随机选择训练样本的批量大小(batchsize)的。具体的，从K个样本图像聚类簇中中随机选择1个图像聚类簇，将该图像聚类簇对应的宽高比作为一个训练批次的宽高比，之后再从该图像聚类簇中随机选择batchsize个待训练样本图像组成一个训练批次。每个训练批次的图像可以在训练过程中从训练数据集中抽样获取。

针对每个训练批次的样本图像，将该批次的样本图像输入图像处理模型，以图像缩放处理为例，可以使用插值技术缩放到统一的目标尺寸，目标尺寸可以是图像的宽度和高度，可以是图像的高度和宽高比，也可以是图像的宽度和宽高比等等。利用图像处理模型对输入的样本图像进行缩放处理后，可选的，可以根据图像处理的输出处理结果、图像处理过程中的中间结果参数中的一个或多个来优化模型参数，当满足预设的收敛条件时，得到训练好的图像处理模型，记录该训练批次的样本图像聚类簇的宽高比范围和训练好的图像处理模型，可以包括图像处理模型的尺寸和对应的模型参数。对样本图像聚类簇对应的宽高比范围、对应的模型尺寸和模型参数进行记录，在后续对待处理图像进行处理时，可以根据待处理图像所在的宽高比范围加载相应尺寸的图像处理模型，再使用加载的图像处理模型对图像进行处理

本实施例中，以图像的形状特征参数是宽高比为例来进行说明，实际应用中可以不限于宽高比，比如可以以图像宽度、图像高度、图像形状(比如长方形或者圆形)等等作为形状特征参数来进行聚类分簇。

实施例五

本发明实施例五提供图像处理方法的一种具体实现过程。本实施例中仍以图像的形状特征参数是宽高比为例来进行说明，可以使用上述实施例中训练好的图像处理模型来进行图像处理。

该图像处理模型可以布置在嵌入式终端设备或移动设备上，也可以布置在服务器中。根据图像聚类簇对应的宽高比，预初始化若干神经网络运行时的对象。在一个实施例中，可以使用SNPE推理引擎，初始化若干个SNPE对象并在加载时执行图像处理模型的尺寸调整，使图像处理模型的尺寸与图像聚类簇的宽高比对应。在另一个实施例中，使用OpenVINO推理引擎，初始化若干个ie对象，来调整图像处理模型的尺寸，使其与图像聚类簇的宽高比对应。

以单幅图像的处理为例，计算待处理图像的宽高比ratio，根据宽高比ratio确定待处理图像所属的图像聚类簇，根据所属的图像聚类簇选择与宽高比ratio最近邻对应的推理引擎运行时实例，初始化图像处理模型为相应尺寸的图像处理模型，根据该模型对应的图像缩放尺寸，将待处理图像插值缩放到指定的目标尺寸。

在一个可选的实施例中，图像缩放处理后的宽度和高度可以通过如下方式计算得到：定义缩放后的最长边(最长边可能是宽度或高度)的边长为border，根据图像所对应的宽高比ratio，图像经过缩放后的高度height可以通过以下公式确定：如果宽高比ratio≥0，高度height＝border；如果宽高比ratio<0，高度height＝border/ratio；

图像经过缩放的宽度width可通过以下公式确定：

如果宽高比ratio≥0，宽度width＝border/ratio；如果宽高比ratio<0，宽度width＝border。

以多幅图像的处理为例，可以采用批量处理的方式。当输入M幅待处理图像时，分别计算这M幅待处理图像对应的M个宽高比ratio，根据每个待处理图像的宽高比ratio分别确定每个图像对应的最近邻聚类簇。M幅待处理图像可能各自对应不同的聚类簇，也可能几幅图像对应同一个聚类簇，即每个聚类簇中包含有一幅或多幅待处理图像，因此，M幅待处理图像对应N个聚类簇，M、N均为正整数，一般情况下，M≥N。

针对每个聚类簇中的待处理图像，根据该聚类簇对应的宽高比范围，调用神经网络处理引擎将图像处理模型初始化为与宽高比范围对应的尺寸，然后，使用初始化好的图像处理模型将该聚类簇中的待处理图像缩放到对应的目标尺寸，该聚类簇的待处理图像可以组成一个批量处理批次，这样可以极大地提高卷积神经网络的推理速度。这种图像处理方法可以应用于分类任务，也可以广泛应用于多阶段的目标检测和分类任务，对多个前端网络的候选区域(Region Proposal)快速处理。

可选的，上述各实施例中，在对图像进行聚类分簇和模型尺寸加载时，为了进一步提高训练的精度，还可以考虑图像的其他形状特征参数，比如图像对角线的像素长度，图像最大边的像素长度等。可以仅使用一个形状特征参数来聚类分簇，也可以使用两个或多个形状特征参数来实现聚类分簇

上述各实施例中的图像处理方法可用于各种图像处理的场景，比如图像的识别、图像的分类，例如可以用于这样一个宽图像内容辨识系统，输入为图像，输出为图像标签(夜景、日出、合影等)。

关于上述各实施例中装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，在装置部分将不做详细阐述说明。

本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述的图像处理方法、上述的图像模式识别方法和上述的图像处理模型训练方法中的至少一个。

本发明实施例还提供一种图像处理设备，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的图像处理方法、上述的图像模式识别方法和上述的图像处理模型训练方法中的至少一个。

本发明实施例提供的图像处理方法、图像模式识别方法等，能够基于图像的宽高比例自适应进行尺寸调整和模式识别，可以用于多阶段目标检测和识别网络的模式识别模块，例如FasterRCNN框架的分类网络，从而提高目标检测网络的准确性。且能够实现模型尺寸自适应调节，避免了已有动态计算图引擎体调整模型尺寸时操作耗时的问题，能够满足图像处理的实时性要求。

其中多阶段也称为非端到端，通常端到端是指输入端(输入数据)到输出端会得到一个预测结果，与真实结果相比较会得到一个误差，这个误差会在模型中的每一层传递(反向传播)，每一层的表示都会根据这个误差来做调整，直到模型收敛或达到预期的效果才结束。而“非端到端”是指流程往往由多个独立的模块组成，比如在一个典型的自然语言处理(Natural Language Processing)问题中，包括分词、词性标注、句法分析、语义分析等多个独立步骤，每个步骤是一个独立的任务，其结果的好坏会影响到下一步骤，从而影响整个训练的结果。

本发明实施例提供的图像处理方法、图像模式识别方法可以在移动终端等终端设备上实现，其中的FCN、KNN等技术只是实现功能的一种或多种组件，不构成对本发明实现方案的限制。通过对图像按宽高比排序，训练时组成具有不同宽高比的训练批次，随机取某一宽高比的批次进行训练，图像处理时采用多档实例，根据宽高比激活对应的图像处理模型进行运算，极大地提高训练速度、识别精度，并且能够实现模型尺寸自适应调节，性能好，精度高。应用实验发现，其准确率可以提高10到15个百分点；且模型训练易于收敛，训练速度快。

本发明实施例的方法在嵌入式终端，移动设备上实现时，由于可以基于不同形状特征参数的分档来激活使用模型，从而尽可能地解决内存开销问题，可应用于非端到端的目标检测网络中，通用性强。

除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。

结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。

对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；

根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；

将所述待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

2.如权利要求1所述的方法，其特征在于，所述根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇，包括：

根据待识别图像的宽高比和每个图像聚类簇对应的宽高比范围，分别确定每个待识别图像所属的图像聚类簇。

3.如权利要求2所述的方法，其特征在于，根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型，包括：

根据所述图像聚类簇对应的形状特征参数的取值范围，确定对应的图像处理模型的尺寸和模型参数；

基于所述模型参数初始化图像处理模型，实现加载相应尺寸的图像处理模型。

4.一种图像处理装置，其特征在于，包括：

图像聚类模块，用于根据待识别图像的形状特征参数，确定待识别图像所属的图像聚类簇；

模型初始化模块，用于根据与所述图像聚类簇对应的形状特征参数的取值范围，初始化图像处理模型为相应尺寸的图像处理模型；

图像处理模块，用于将所述待识别图像输入初始化后的图像处理模型中，输出相应目标尺寸的图像。

5.一种图像模式识别方法，其特征在于，包括：

使用如权利要求1-3任一项所述的图像处理方法对待识别图像进行缩放处理；

识别得到的指定目标尺寸的图像中的指定图像元素。

6.一种图像模式识别装置，其特征在于，包括：如权利要求4所述的图像处理装置和元素识别模块；

所述图像处理装置，用于对待识别图像进行缩放处理，得到指定目标尺寸的图像；

所述元素识别模块，用于识别得到的指定目标尺寸的图像中的指定图像元素。

7.一种图像处理模型训练方法，其特征在于，包括：

将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；每个图像样本聚类簇对应所述形状特征参数的一个取值范围；

依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

8.如权利要求7所述的方法，其特征在于，所述将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇，包括：

根据每个图像样本的宽高比对图像样本进行排序，得到图像样本宽高比的统计数据；

对图像样本宽高比的统计数据进行分析，确定图像样本聚类簇簇数K和每个图像样本聚类簇对应的宽高比取值范围，K为正整数；

根据每个图像样本聚类簇对应的宽高比取值范围，将每个图像样本聚类到不同的图像样本聚类簇中，得到K个图像样本聚类簇。

9.如权利要求8所述的方法，其特征在于，依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型，包括：

从K个聚类簇中随机选择一个图像样本聚类簇，从该图像样本聚类簇中随机选择多个图像样本，作为当前训练批次的图像样本；

使用当前训练批次的图像样本训练指定的图像处理模型，得到满足预设条件的图像处理模型时，记录该图像样本聚类簇的形状特征参数取值范围、对应的图像处理模型尺寸和模型参数；

返回继续执行从K个聚类簇中随机选择一个图像样本聚类簇的步骤，直至训练得到K个图像样本聚类簇对应的图像处理模型。

10.一种图像处理模型训练装置，其特征在于，包括：

样本聚类模块，用于将图像样本基于指定的形状特征参数进行聚类，得到多个图像样本聚类簇；每个图像样本聚类簇对应所述形状特征参数的一个取值范围；

模型训练模块，用于依次使用每个图像样本聚类簇中的图像样本对预设的图像处理模型进行训练，分别得到与每个形状特征参数取值范围对应的图像处理模型并存储。

11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现权利要求1-3任一所述的图像处理方法、权利要求5任一所述的图像模式识别方法和权利要求7-9任一所述的图像处理模型训练方法中的至少一个。

12.一种图像处理设备，其特征在于，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-3任一所述的图像处理方法、权利要求5任一所述的图像模式识别方法和权利要求7-9任一所述的图像处理模型训练方法中的至少一个。

Images