CN111881994A - 识别处理方法及设备和非暂态计算机可读存储介质 - Google Patents

Abstract

本公开涉及一种识别处理方法及设备和非暂态计算机可读存储介质。识别处理方法包括：获取输入图像的第一热力分布数据，并根据第一热力分布数据计算输入图像的第一颜色特征数据；分别获取多个备选图像中的每个备选图像的第二热力分布数据，并根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据；分别计算第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将多个备选图像中的与输入图像颜色匹配的备选图像确定为输出图像。

Description

识别处理方法及设备和非暂态计算机可读存储介质

技术领域

本公开涉及图像识别技术领域，具体来说，涉及一种识别处理方法、识别处理设备和非暂态计算机可读存储介质。

背景技术

为了识别某个对象，用户可以拍摄对象，并将拍摄所得的图像上传到用于识别对象的设备中，由其中的识别程序等对图像中所包含的对象及其相关信息进行识别。在识别到对象之后，该设备或识别程序还可以输出与该对象对应的一幅或多幅其它图像，以方便用户根据这些输出图像进行进一步比对和了解。然而，对于同一对象而言，其不同的部分可能具有不同的颜色，此外，对于同一种类的对象而言，其不同的个体也可能具有不同的颜色(例如，同一种植物可能具有不同颜色的花朵)。这样，由设备或识别程序输出的图像的颜色可能与用户所上传的图像的颜色之间存在很大的差别，而给用户带来疑惑和困扰。

发明内容

本公开的目的之一是提供一种识别处理方法、识别处理设备和非暂态计算机可读存储介质，以确定与输入图像颜色匹配的输出图像。

根据本公开的第一方面，提供了一种识别处理方法，所述识别处理方法包括：

获取输入图像的第一热力分布数据，并根据所述第一热力分布数据计算所述输入图像的第一颜色特征数据，其中，所述第一热力分布数据包括所述输入图像的至少一部分的第一热力值；

分别获取多个备选图像中的每个备选图像的第二热力分布数据，并根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据，其中，备选图像的第二热力分布数据包括该备选图像的至少一部分的第二热力值，所述多个备选图像是根据对所述输入图像的识别而获得的；

分别计算所述第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将所述多个备选图像中的与所述输入图像颜色匹配的备选图像确定为输出图像。

在一些实施例中，获取输入图像的第一热力分布数据包括：

采用预先训练的机器学习模型，确定所述输入图像中的每个第一图像单元的第一热力值；和/或

分别获取多个备选图像中的每个备选图像的第二热力分布数据包括：

采用预先训练的机器学习模型，针对每个备选图像，分别确定备选图像中的每个第二图像单元的第二热力值。

在一些实施例中，所述机器学习模型包括注意力模型，所述注意力模型被配置为获取图像中的每个图像单元的受关注程度，且图像单元的热力值随着受关注程度的增大而增大。

在一些实施例中，第一热力值大于或等于0、且小于或等于1；和/或

第二热力值大于或等于0、且小于或等于1。

在一些实施例中，获取输入图像的第一热力分布数据包括：

对所述输入图像的每个部分的第一热力值进行模糊处理，以产生平滑的所述第一热力分布数据；和/或

分别获取多个备选图像中的每个备选图像的第二热力分布数据包括：

针对每个备选图像，分别对备选图像的每个部分的第二热力值进行模糊处理，以产生该备选图像的平滑的第二热力分布数据。

在一些实施例中，所述模糊处理包括高斯模糊处理、均值模糊处理和中值模糊处理中的至少一种。

在一些实施例中，根据所述第一热力分布数据计算所述输入图像的第一颜色特征数据包括：

确定所述输入图像中的每个第三图像单元的颜色的颜色坐标，其中，颜色坐标的每个坐标分量分别指示颜色在每个色彩通道上所处的灰度区间；

针对每个颜色坐标，分别计算所述输入图像中的具有同一颜色坐标的第三图像单元的第一热力值之和相对于所述输入图像的所有第三图像单元的第一热力值总和的第一比例；

根据颜色坐标和相应的第一比例，生成所述第一颜色特征数据；和/或

根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据包括：

针对每个备选图像，分别执行以下操作：

确定备选图像中的每个第四图像单元的颜色的颜色坐标；

针对同一备选图像中的每个颜色坐标，分别计算该备选图像中的具有同一颜色坐标的第四图像单元的第二热力值之和相对于该备选图像的所有第四图像单元的第二热力值总和的第二比例；

根据颜色坐标和相应的第二比例，生成该备选图像的第二颜色特征数据。

在一些实施例中，色彩通道包括红色通道、绿色通道以及蓝色通道。

在一些实施例中，所述输入图像中的第三图像单元的第一热力值是根据所述输入图像中的第一图像单元的第一热力值而获得的；和/或

备选图像中的第四图像单元的第二热力值是根据该备选图像中的第二图像单元的第二热力值而获得的。

在一些实施例中，所述输入图像中的第一图像单元与所述输入图像中的整数个连续的第三图像单元重叠；和/或

备选图像中的第二图像单元与该备选图像中的整数个连续的第四图像单元重叠。

在一些实施例中，所述颜色相似距离包括搬土距离。

在一些实施例中，根据每个颜色相似距离将所述多个备选图像中的与所述输入图像颜色匹配的备选图像确定为输出图像包括：

比对所述输入图像的第一颜色特征数据与备选图像的第二颜色特征数据之间的颜色相似距离与第一距离阈值；

当颜色相似距离小于或等于所述第一距离阈值时，将该备选图像确定为输出图像。

在一些实施例中，根据每个颜色相似距离将所述多个备选图像中的与所述输入图像颜色匹配的备选图像确定为输出图像包括：

对所述输入图像的第一颜色特征数据与每个备选图像的第二颜色特征数据之间的每个颜色相似距离进行排序；

将与最小的颜色相似距离对应的一幅或多幅备选图像确定为输出图像。

在一些实施例中，第一颜色特征数据包括基于第一灰度区间单元的第三颜色特征数据和基于第二灰度区间单元的第四颜色特征数据中的至少一个，以及第二颜色特征数据包括基于所述第一灰度区间单元的第五颜色特征数据和基于所述第二灰度区间单元的第六颜色特征数据中的至少一个，其中，所述第一灰度区间单元的每个子灰度区间单元的灰度区间范围大于所述第二灰度区间单元的每个子灰度区间单元的灰度区间范围；

分别计算所述第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将所述多个备选图像中的与所述输入图像颜色匹配的备选图像确定为输出图像包括：

分别计算所述第三颜色特征数据与每个第五颜色特征数据之间的第一颜色相似距离；

分别比对每个第一颜色相似距离与第二距离阈值；

当第一颜色相似距离大于所述第二距离阈值时，剔除与该第一颜色相似距离对应的备选图像；

当第一颜色相似距离小于或等于所述第二距离阈值时，保留与该第一颜色相似距离对应的备选图像；

针对被保留的每个备选图像，分别计算所述第四颜色特征数据与每个第六颜色特征数据之间的第二颜色相似距离；

对每个第二颜色相似距离进行排序；

将与最小的第二颜色相似距离对应的一幅或多幅备选图像确定为输出图像。

在一些实施例中，所述第一灰度区间单元的每个子灰度区间单元的灰度区间范围是所述第二灰度区间单元的每个子灰度区间单元的灰度区间范围的整数倍。

根据本公开的第二方面，提供了一种识别处理设备，所述识别处理设备包括处理器和存储器，所述存储器上存储有指令，当所述指令被所述处理器执行时，实现上述识别处理方法的步骤。

在一些实施例中，所述识别处理设备还被配置为对所述输入图像进行识别，以获得所述多个备选图像。

在一些实施例中，所述识别处理设备被配置为用于植物的识别。

根据本公开的第三方面，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有指令，当所述指令被执行时，实现上述识别处理方法的步骤。

通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得更为清楚。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1是根据本公开的一示例性实施例的识别处理方法的流程示意图；

图2是根据本公开的一具体示例的示意性输入图像；

图3是与图2中的示意性输入图像对应的示意性第一热力分布图；

图4是根据本公开的一示例性实施例的识别处理方法的部分流程示意图；

图5是根据本公开的一具体示例的输入图像的第一图像单元和第三图像单元的示意图；

图6是根据本公开的一具体示例的输入图像的灰度直方图；

图7是根据本公开的一示例性实施例的识别处理方法的部分流程示意图；

图8是根据本公开的一示例性实施例的识别处理方法的部分流程示意图；

图9是根据本公开的一示例性实施例的识别处理设备的示意框图。

注意，在以下描述的实施例中，在一些情况中在不同的附图之间共同使用同一附图标记来表示相同部分或具有相同功能的部分，而省略其重复说明。在一些情况中，使用相似的标号和字母表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为了便于理解，在附图等中所示的各结构的位置、尺寸及范围等有时不表示实际的位置、尺寸及范围等。因此，本公开并不限于附图等所公开的位置、尺寸及范围等。

具体实施方式

下面将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。也就是说，本文中的结构及方法是以示例性的方式示出，来说明本公开中的结构和方法的不同实施例。本领域技术人员应当理解，这些示例仅仅以说明的方式来指示本公开的实施方式，而不是以穷尽的方式。此外，附图不必按比例绘制，一些特征可能被放大以示出一些具体部件的细节。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，并且为非限制性的。因此，示例性实施例的其它示例可以具有不同的值。

在识别对象时，为了避免根据识别结果而产生的输出图像的颜色与用户上传的输入图像的颜色之间存在明显的区别而给用户带来疑惑和困扰，在本公开中，可以基于颜色相似距离对根据识别结果而产生的多个备选图像进行筛选，从中确定出与输入图像颜色匹配的输出图像，以方便用户的进一步比对和了解，从而改善用户的体验。

在本公开的一示例性实施例中，提出了一种识别处理方法，如图1所示，该识别处理方法可以包括：

步骤S100，获取输入图像的第一热力分布数据，并根据第一热力分布数据计算输入图像的第一颜色特征数据。

其中，第一热力分布数据可以包括输入图像的至少一部分的第一热力值。在一些实施例中，第一热力分布数据可以包括输入图像中的每个部分的第一热力值，以方便后续的处理。然而，本公开的实施例并不被限制于此。在另一些实施例中，也可以对输入图像进行一些预处理，例如去除输入图像中的通常与识别关联性较低的边缘区域等，从而仅仅获取输入图像中的与识别关联性较高的剩余的区域的第一热力值，以减少待处理的数据量，提高处理效率。

第一热力分布数据可以反映出输入图像中的相应部分的受关注程度，或者说，反映出输入图像中的相应部分与识别之间的关联性的高低。通常，输入图像中某个部分的第一热力值越大，表示这个部分的受关注程度越高，或者说这个部分与识别之间的关联性越高，对最终的识别结果的影响也就越大。例如，在识别植物的情况下，可以理解的是，输入图像中的包含植物的区域通常具有较高的第一热力值，而不包含植物的图像背景等其它区域的第一热力值较低。

在一具体示例中，示意性输入图像如图2所示。其中，区域210对应于植物花朵的花芯，区域220对应于植物花朵的花瓣，区域230对应于植物的叶片，以及区域241、242和243对应于非植物的图像背景。在图2中，以不同方式填充的每个区域具有不同的颜色。

在一些实施例中，第一热力分布数据可以被表示为第一热力分布图。例如，图3所示为与图2的示意性输入图像对应的示意性第一热力分布图。在图3中，颜色越浅表示相应区域的第一热力值越高，可以看出，图3中大体上与植物的花朵和叶片对应的虚线框内的区域310具有较高的第一热力值，而与非植物的图像背景对应的虚线框外的区域320的第一热力值较低。此外，在图像背景区域中，随着与植物的距离越远，相应位置的第一热力值也越低。

在一些实施例中，为了方便计算，第一热力值的取值范围可以在0-1之间，第一热力值越接近于1，表示相应区域的受关注程度越高。例如，在识别植物的情况下，输入图像中的植物所在区域的第一热力值可以等于或趋近于1，非植物的图像背景区域的第一热力值可以等于或趋近于0，而在植物区域和图像背景区域之间的过渡区域中，第一热力值可以是大于0且小于1的值。

可以通过多种方式来获取输入图像的第一热力分布数据。在一些实施例中，获取输入图像的第一热力分布数据可以包括：

采用预先训练的机器学习模型，确定输入图像中的每个第一图像单元的第一热力值。

在输入图像中，每个第一图像单元可以包括一个或多个像素。一般情况下，每个第一图像单元所包含的像素数目越少，所获取的输入图像的第一热力分布数据就越精细，但同时在后续步骤中所涉及的要处理的数据量往往也越大。因此，可以根据所需要的精细程度和计算资源来折中第一图像单元的确定。通常情况下，输入图像的每个第一图像单元之间不存在重叠，且输入图像的所有的第一图像单元能够完全地重叠整个输入图像。通过这样设置第一图像单元，根据每个第一图像单元的第一热力值，就可以完整且高效地得到整个输入图像的第一热力分布数据，以方便后续的处理。

在一些实施例中，机器学习模型可以包括注意力模型(Attention Model)。注意力模型可以被配置为获取图像中的每个图像单元的受关注程度，且图像单元的热力值随其受关注程度的增大而增大。具体而言，注意力模型可以模仿人脑的注意力，利用有限的注意力从图像所包含的大量信息中获取更关键的信息，以降低图像处理过程给计算资源带来的负担，改善图像处理的效果。

在另一些实施例中，机器学习模型可以包括对象标识模型。对象标识模型可以被配置为获取图像中的要被识别的对象所在的区域，例如，对象标识模型可以确定出图像中的要被识别的对象的轮廓。进一步地，位于要被识别的对象所在的区域内的图像单元可以具有较大的热力值，位于没有要被识别的对象的区域内的图像单元可以具有较小的热力值，而某个图像单元或区域的热力值还可以随其与要被识别的对象之间的距离的增大而减小。

此外，在运行机器学习模型一段时间后，或者当机器学习模型的准确度发生变化时，还可以根据新的数据来重新训练优化机器学习模型，以帮助改善所获取的图像的热力分布数据的准确性。

为了提高后续步骤中计算颜色相似距离的准确性，减少第一热力分布数据的边界误差和剧烈变化导致的干扰，还可以对第一热力分布数据进行模糊或平滑处理。具体而言，获取输入图像的第一热力分布数据可以包括：

对输入图像的每个部分的第一热力值进行模糊处理，以产生平滑的第一热力分布数据。

可以采用多种方式来对第一热力分布数据进行模糊或平滑处理，例如可以采用高斯模糊处理、均值模糊处理和中值模糊处理中的至少一种。

在高斯模糊处理中，可以用高斯分布来计算输入图像的第一热力分布数据中每个第一图像单元的第一热力值的变换，即相当于对第一热力分布数据与高斯分布做卷积，从而产生模糊或平滑处理后的第一热力分布数据。在二维情形下，高斯分布方程可以被表示如下：

其中，r为模糊半径，σ为高斯分布的标准偏差。在模糊处理后的第一图像单元的第一热力值中，模糊处理前的该第一图像单元的第一热力值所占的权重最大，而模糊处理前的该第一图像单元周围的第一图像单元的第一热力值所占的权重随着它们远离该第一图像单元的距离的增大而减小。通过高斯模糊处理，可以有效地滤除第一热力分布数据中的噪声。

在均值模糊处理中，模糊处理后的第一图像单元的第一热力值可以是模糊处理前的与该第一图像单元相关联的若干个第一图像单元的第一热力值的均值。

在中值模糊处理中，模糊处理后的第一图像单元中的第一热力值可以是模糊处理前的与该第一图像单元相关联的若干个第一图像单元中的第一热力值的中值。

在其它实施例中，还可以根据需要使用其它的模糊处理方式来处理第一热力分布数据，在此不再赘述。

在获得输入图像的第一热力分布数据之后，可以计算其第一颜色特征数据。在一些实施例中，如图4所示，根据第一热力分布数据计算输入图像的第一颜色特征数据可以包括：

步骤S111，确定输入图像中的每个第三图像单元的颜色的颜色坐标；

步骤S112，针对每个颜色坐标，分别计算输入图像中的具有同一颜色坐标的第三图像单元的第一热力值之和相对于输入图像的所有第三图像单元的第一热力值总和的第一比例；

步骤S113，根据颜色坐标和相应的第一比例，生成第一颜色特征数据。

其中，颜色坐标的每个坐标分量可以分别指示颜色在每个色彩通道上所处的灰度区间。

输入图像中的每个第三图像单元可以包括一个或多个像素，并且，在每个第三图像单元中，颜色是相同或基本相同的，以方便用同一个颜色坐标来表征该第三图像单元的颜色。通常情况下，输入图像每个第三图像单元之间不存在重叠，且输入图像的所有第三图像单元能够完全地重叠整个输入图像。通过这样设置第三图像单元，根据每个第三图像单元的颜色坐标，就可以完整且高效地得到整个输入图像的第一颜色分布数据，以方便后续的处理。

在一些实施例中，第三图像单元可以与第一图像单元等同，相应地，可以直接根据第一图像单元的第一热力值得到第三图像单元的第一热力值。在另一些实施例中，考虑到在输入图像中，不同区域之间第一热力值的变化往往不像不同区域之间颜色的变化那样显著，也就是说，具有相同的第一热力值的最小区域的面积可能大于具有相同的颜色坐标的最小区域的面积，因此可以选择比第三图像单元大的第一图像单元，从而帮助简化数据的处理。在这种情况下，可以根据第一图像单元的第一热力值获得相关联的第三图像单元的第一热力值。在一些实施例中，输入图像中的第一图像单元可以与输入图像中的整数个连续的第三图像单元重叠，以方便颜色相似距离的计算。如图5所示，在一具体示例中，第一图像单元510可以与四个第三图像单元530重叠。

在一具体示例中，色彩通道可以包括红色通道、绿色通道以及蓝色通道。输入图像中的第j个第三图像单元的颜色的颜色坐标可以被表示为(R_ij,G_ij,B_ij)，其中，R_ij表示第j个第三图像单元的颜色在红色通道上所处的灰度区间，G_ij表示第j个第三图像单元的颜色在绿色通道上所处的灰度区间，以及B_ij表示第j个第三图像单元的颜色在蓝色通道上所处的灰度区间。

假设在整个色彩空间中，每个色彩通道上的灰度的取值可以为0-255之间的整数。那么，可以用数值0来表示在0-63之间的灰度所对应的灰度区间，数值1来表示在64-127之间的灰度所对应的灰度区间，数值2来表示在128-195之间的灰度所对应的灰度区间，以及数值3来表示在196-255之间的灰度对应的灰度区间。基于这样的灰度区间的划分，可以实现对每个色彩通道上的灰度的压缩，以减小待处理的数据量。根据上述灰度区间的定义，若输入图像中的某一个第三图像单元的颜色在红色通道、绿色通道和蓝色通道上的灰度值分别为14、80和160，那么，该第三图像单元的颜色的颜色坐标可以被表示为(0，1，2)。进一步地，通过遍历输入图像中的第三图像单元，可以得到每个第三图像单元的颜色的颜色坐标。在上述灰度区间的定义下，对于输入图像而言，可能存在最多64(4x4x4)种不同的颜色坐标。

然后，针对每个颜色坐标，可以分别计算输入图像中的具有同一颜色坐标的第三图像单元的第一热力值之和相对于输入图像的所有第三图像单元的第一热力值总和的第一比例。

在一具体示例中，假设在输入图像中具有颜色坐标(0，1，2)的第三图像单元的数目为五，且这五个第三图像单元的第一热力值分别为0.5、0.6、0.6、0.8、0.8，那么，针对这个颜色坐标(0，1，2)，可以构造向量(0，1，2，3.3)，其中向量的前三个分量分别对应于该第三图像单元的颜色在每个色彩通道上所处的灰度区间，而向量的第四个分量对应于具有颜色坐标(0，1，2)的五个第三图像单元的第一热力值之和。对于输入图像所具有的其它每个颜色坐标，都可以执行类似的操作来构造这样的向量。

为了方便后续步骤中计算不同尺寸的输入图像和备选图像之间的颜色相似距离，可以对上述构造的向量进行归一化处理。具体地，可以基于输入图像的所有第三图像单元的第一热力值总和来执行归一化处理，即计算输入图像中的具有同一颜色坐标的第三图像单元的第一热力值之和相对于输入图像的所有第三图像单元的第一热力值总和的第一比例，并采用该第一比例代替上述构造的向量中的第四个分量。

在一具体示例中，假设输入图像所具有的颜色坐标仅包括(0，0，0)，(0，0，1)以及(0，0，2),根据与每个颜色坐标对应的第三图像单元的第一热力值之和，可以得到归一化前的三个向量分别为(0，0，0，2.5)，(0，0，1，2.5)以及(0，0，2，2.5)。之后，对上述三个向量进行归一化处理，得到归一化后的向量为(0，0，0，1/3)，(0，0，1，1/3)以及(0，0，2，1/3)。可以看到，在归一化后的向量中，第四个分量的总和为1(1/3+1/3+1/3)。

可以采用灰度直方图来表征输入图像中的每个颜色坐标对应的归一化的第一热力值之和，以反映颜色坐标的分布情况或输入图像的灰度分布规律。当某个颜色坐标对应的归一化的第一热力值之和越大时，表明这个颜色在该输入图像中的受关注程度越高，对最终的识别结果的影响也就越高。

图6示出了在一具体示例中的输入图像的灰度直方图，其中横坐标的数值分别表示总共64种可能的颜色坐标中的每个颜色坐标(例如，可以用横坐标值17来表征颜色坐标(1，0，1))，纵坐标表示每种颜色坐标的第三图像单元的第一热力值之和相对于所有第三图像单元的第一热力值总和的第一比例。

进一步地，根据颜色坐标和相应的第一比例，可以生成第一颜色特征数据。在一些实施例中，第一颜色特征数据可以被表示为向量或向量的集合。假设以p_k表示与输入图像的第k个颜色坐标(R_k,G_k,B_k)对应的第一比例，那么，输入图像的第一颜色特征数据可以被表示为{(R₁,G₁,B₁,p₁)，(R₂,G₂,B₂,p₂)，…，(R_M,G_M,B_M,p_M)}，其中，M为输入图像所具有的不同的颜色坐标的总数。

在本公开的示例性实施例中，可以针对根据对输入图像的识别而获得的多个备选图像中的每个备选图像来执行类似的操作，以分别获得每个备选图像的第二颜色特征数据。

具体地，如图1所示，识别处理方法可以包括：

步骤S200，分别获取多个备选图像中的每个备选图像的第二热力分布数据，并根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据。

其中，备选图像的第二热力分布数据可以包括该备选图像的至少一部分的第二热力值。在一些实施例中，第二热力分布数据可以包括备选图像中的每个部分的第二热力值，以方便后续的处理。然而，本公开的实施例并不被限制于此。在另一些实施例中，也可以参考对输入图像的预处理，对备选图像进行一些预处理，例如去除备选图像中的边缘区域等，从而仅仅获得备选图像中的剩余区域的第二热力值，以减少待处理的数据量，提高处理效率。

第二热力分布数据可以反映出备选图像中的相应部分的受关注程度，或者说，反映出备选图像中的相应部分与识别结果之间的关联性的高低。通常，备选图像中某个部分的第二热力值越大，表示这个部分的受关注程度越高，或者说这个部分与识别结果之间的关联性越高。例如，在识别植物的情况下，备选图像中的包含植物的区域通常具有较高的第二热力值，而不包含植物的图像背景等其它区域的第二热力值较低。

在一些实施例中，第二热力值的取值范围也可以在0-1之间，第二热力值越接近于1，表示相应区域的受关注程度越高。

可以通过多种方式来获取备选图像的第二热力分布数据。在一些实施例中，分别获取多个备选图像中的每个备选图像的第二热力分布数据可以包括：

采用预先训练的机器学习模型，针对每个备选图像，分别确定备选图像中的每个第二图像单元的第二热力值。

在备选图像中，每个第二图像单元可以包括一个或多个像素。一般情况下，每个第二图像单元所包含的像素数目越少，所获取的备选图像的第二热力分布数据就越精细，但同时在后续步骤中所涉及的要处理的数据量往往也越大。因此，可以根据所需要的精细程度和计算资源来折中第二图像单元的确定。通常情况下，备选图像的每个第二图像单元之间不存在重叠，且备选图像的所有第二图像单元能够完全地重叠整个备选图像。通过这样设置第二图像单元，根据每个第二图像单元的第二热力值，就可以完整且高效地得到整个备选图像的第二热力分布数据，以方便后续的处理。在不同的实施例中，根据需要，第二图像单元所包含的像素数目可以与第一图像单元所包含的像素数目相同或不同。

用于获取每个备选图像的第二热力分布数据的机器学习模型可以包括上文中所述的注意力模型和对象标识模型中的至少一种，也可以根据需要包括其它模型，在此不再赘述。

需要注意的是，备选图像的第二热力分布数据与输入图像的第一热力分布数据之间存在着一定的差别，因为在备选图像和输入图像中，受关注的区域的位置可能存在不同。

为了提高后续步骤中计算颜色相似距离的准确性，减少第二热力分布数据的边界误差和剧烈变化导致的干扰，也可以对第二热力分布数据进行模糊或平滑处理。具体而言，分别获取多个备选图像中的每个备选图像的第二热力分布数据可以包括：

针对每个备选图像，分别对备选图像的每个部分的第二热力值进行模糊处理，以产生该备选图像的平滑的第二热力分布数据。

类似地，可以采用上文中上述的高斯模糊处理、均值模糊处理和中值模糊处理中的至少一种来对第二热力分布数据进行模糊或平滑处理，或者也可以根据需要采用其它的模糊处理方式来模糊处理第二热力分布数据。

在获得每个备选图像的第二热力分布数据之后，可以计算相应的第二颜色特征数据。在一些实施例中，根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据可以包括：

如图7所示，针对每个备选图像，分别执行以下操作：

步骤S211，确定备选图像中的每个第四图像单元的颜色的颜色坐标；

步骤S212，针对同一备选图像中的每个颜色坐标，分别计算该备选图像中的具有同一颜色坐标的第四图像单元的第二热力值之和相对于该备选图像的所有第四图像单元的第二热力值总和的第二比例；

步骤S213，根据颜色坐标和相应的第二比例，生成该备选图像的第二颜色特征数据。

其中，针对每个备选图像，计算其第二颜色特征数据的方式与上文中所述的计算输入图像的第一颜色特征数据的方式类似，在此不再赘述。

同理，在一些实施例中，第四图像单元可以与第二图像单元等同，相应地，可以直接根据第二图像单元的第二热力值得到第四图像单元的第二热力值。在另一些实施例中，考虑到在备选图像中，不同区域之间第二热力值的变化往往不像不同区域之间颜色的变化那样显著，因此也可以选择比第四图像单元大的第二图像单元，从而帮助简化数据的处理。在这种情况下，可以根据第二图像单元的第二热力值获得相关联的第四图像单元的第二热力值。在一些实施例中，备选图像中的第二图像单元可以与备选图像中的整数个连续的第四图像单元重叠，以方便颜色相似距离的计算。

在一些实施例中，第二颜色特征数据也可以被表示为向量或向量的集合。假设以p_xk表示与第x个备选图像中的第k个颜色坐标(R_xk，G_xk，B_xk)对应的第二比例，那么，对于第x个备选图像而言，其第二颜色特征数据可以被表示为{(R_x1,G_x1,B_x1,p_x1)，(R_x2,G_x2,B_x2,p_x2)，…，(R_xN,G_xN,B_xN,p_xN)}，其中，N为第x个备选图像所具有的不同的颜色坐标的总数。

进一步的，根据本公开的一示例性实施例，如图1所示，识别处理方法还可以包括：

步骤S300，分别计算第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将多个备选图像中的与输入图像颜色匹配的备选图像确定为输出图像。

在一些实施例中，颜色相似距离包括搬土距离(Earth Mover’s Distance，EMD)，EMD可以用于度量图像相似度，其表示把一个向量转化成另一个向量所需移动的数量和距离的乘积的和。具体而言，可以按照下式来计算输入图像的第一颜色特征数据{(R₁,G₁,B₁,p₁)，(R₂,G₂,B₂,p₂)，…，(R_M,G_M,B_M,p_M)}与第x个备选图像的第二颜色特征数据{(R_x1,G_x1,B_x1,p_x1)，(R_x2,G_x2,B_x2,p_x2)，…，(R_xN,G_xN,B_xN,p_xN)}之间的颜色相似距离Dx：

其中，距离矩阵[d_ab]中的矩阵元d_ab表示输入图像的第a个颜色坐标(R_a,G_a,B_a)与第x个备选图像的第b个颜色坐标(R_xb,G_xb,B_xb)之间的距离，且距离矩阵[d_ab]是一个MxN的矩阵。流动矩阵[f_ab]与最小化全局的代价函数

相关，该流动矩阵[f_ab]中的矩阵元f_ab表示从输入图像的第a个颜色坐标(R_a,G_a,B_a)到第x个备选图像的第b个颜色坐标(R_xb,G_xb,B_xb)的流动数量。

可以理解的是，在其它一些实施例中，也可以根据需要，采用其它类型的距离来表征输入图像的第一颜色特征数据与备选图像的第二颜色特征数据之间的颜色相似距离，在此不再赘述。

在计算得到颜色相似距离之后，可以执行对备选图像的筛选，从而从中确定出与输入图像颜色匹配的输出图像。

在一些实施例中，根据每个颜色相似距离将多个备选图像中的与输入图像颜色匹配的备选图像确定为输出图像可以包括：

比对输入图像的第一颜色特征数据与备选图像的第二颜色特征数据之间的颜色相似距离与第一距离阈值；

当颜色相似距离小于或等于所述第一距离阈值时，将该备选图像确定为输出图像。

具体而言，可以根据需要来预设第一距离阈值。在确定输出图像时，只要备选图像与输入图像之间的颜色相似距离小于或等于预设的第一距离阈值，就可以将该备选图像确定为输出图像，输出图像可以被输出给用户以方便用户进一步比对和了解。输出图像的数目可以为一幅或多幅，当所设置的第一距离阈值越小，所获得的输出图像与输入图像之间的颜色就越接近，且满足颜色匹配条件的输出图像的数目可能越少。

在另一些实施例中，根据每个颜色相似距离将多个备选图像中的与输入图像颜色匹配的备选图像确定为输出图像可以包括：

对输入图像的第一颜色特征数据与每个备选图像的第二颜色特征数据之间的每个颜色相似距离进行排序；

将与最小的颜色相似距离对应的一幅或多幅备选图像确定为输出图像。

在这种情况下，所获得的输出图像通常为一幅(在特殊情况下，可能获得多幅具有与输入图像相等的颜色相似距离的输出图像)，该输出图像是所有备选图像中与输入图像的颜色最为接近的。但是，当采用这种方式来确定输出图像时，若所有备选图像与输入图像的颜色相似距离都很大，那么所得的输出图像可能依然无法满足颜色匹配的要求。

一方面为了提高将备选图像筛选为输出图像的效率，另一方面为了尽可能保障所获得的输出图像与输入图像之间的颜色匹配度，在另一些实施例中，可以基于两个或更多个不同的灰度区间范围来分别计算输入图像和备选图像之间的颜色相似距离，进而从多个备选图像中确定输出图像。

在一具体示例中，第一颜色特征数据可以包括基于第一灰度区间单元的第三颜色特征数据和基于第二灰度区间单元的第四颜色特征数据中的至少一个，以及第二颜色特征数据可以包括基于第一灰度区间单元的第五颜色特征数据和基于第二灰度区间单元的第六颜色特征数据中的至少一个，其中，第一灰度区间单元的每个子灰度区间单元的灰度区间范围大于第二灰度区间单元的每个子灰度区间单元的灰度区间范围。如图8所示，分别计算第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将多个备选图像中的与输入图像颜色匹配的备选图像确定为输出图像可以包括：

步骤S310，分别计算第三颜色特征数据与每个第五颜色特征数据之间的第一颜色相似距离；

步骤S320，分别比对每个第一颜色相似距离与第二距离阈值；

步骤S331，当第一颜色相似距离大于第二距离阈值时，剔除与该第一颜色相似距离对应的备选图像；

步骤S332，当第一颜色相似距离小于或等于第二距离阈值时，保留与该第一颜色相似距离对应的备选图像；

步骤S340，针对被保留的每个备选图像，分别计算第四颜色特征数据与每个第六颜色特征数据之间的第二颜色相似距离；

步骤S350，对每个第二颜色相似距离进行排序；

步骤S360，将与最小的第二颜色相似距离对应的一幅或多幅备选图像确定为输出图像。

在一些实施例中，为了方便计算，第一灰度区间单元的每个子灰度区间单元的灰度区间范围可以是第二灰度区间单元的每个子灰度区间单元的灰度区间范围的整数倍。

例如，基于第一灰度区间单元(在第一灰度区间单元的每个子灰度区间单元中，可以具有64个可选的灰度值)，可以用数值0来表示在0-63之间的灰度所对应的灰度区间，数值1来表示在64-127之间的灰度所对应的灰度区间，数值2来表示在128-195之间的灰度所对应的灰度区间，以及数值3来表示在196-255之间的灰度对应的灰度区间，从而对每个色彩通道上的灰度进行压缩，并进一步得到基于该第一灰度区间单元的输入图像的第三颜色特征数据和每个备选图像的第五颜色特征数据。

此外，基于第二灰度区间单元(在第二灰度区间单元的每个子灰度区间单元中，可以具有32个可选的灰度值)，可以用数值0来表示在0-31之间的灰度所对应的灰度区间，数值1来表示在32-63之间的灰度所对应的灰度区间，数值2来表示在64-95之间的灰度所对应的灰度区间，数值3来表示在96-127之间的灰度所对应的灰度区间，数值4来表示在128-159之间的灰度所对应的灰度区间，数值5来表示在160-191之间的灰度所对应的灰度区间，数值6来表示在192-223之间的灰度所对应的灰度区间，以及数值7来表示在224-255之间的灰度所对应的灰度区间，从而对每个色彩通道上的灰度进行压缩，并进一步得到基于该第二灰度区间单元的输入图像的第四颜色特征数据和每个备选图像的第六颜色特征数据。基于第二灰度区间单元，在图像中可能存在共512(8x8x8)种不同的颜色坐标。可以理解的是，基于第二灰度区间单元的颜色特征数据相比基于第一灰度区间单元的颜色特征数据，对图像颜色的表征更加精细。

在基于不同的灰度区间范围分别获得了相应的颜色特征数据之后，可以首先基于具有较大的子灰度区间单元的灰度区间范围的第一灰度区间单元、以及根据第二阈值距离对多个备选图像进行粗筛，从中剔除与输入图像的颜色差别较大的备选图像。然后，在所保留的备选图像中，可以基于具有较小的子灰度区间单元的灰度区间范围的第二灰度区间单元，对计算所得的相应的颜色相似距离进行排序，以更精确地确定与输入图像的颜色最为匹配的一幅或多幅输出图像。

可以理解的是，在其它实施例中，可以根据需要设置更多的灰度区间范围，并基于更多的灰度区间范围来更精确地从多个备选图像中确定出期望的输出图像。

根据本公开的另一个方面，还提出了一种识别处理设备。如图9所示，识别处理设备900可以包括处理器910和存储器920，存储器920上存储有指令，当指令被处理器910执行时，可以实现如上文所描述的识别处理方法中的步骤。

其中，处理器910可以根据存储在存储器920中的指令执行各种动作和处理。具体地，处理器910可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是X86架构或者是ARM架构等。

存储器920存储有可执行指令，该指令在被处理器910执行上文所述的识别处理方法。存储器920可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、增强型同步动态随机存取存储器(ESDRAM)、同步连接动态随机存取存储器(SLDRAM)和直接内存总线随机存取存储器(DR RAM)。应注意，本文描述的方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施例中，识别处理设备900还可以被配置为对输入图像进行识别，以获得多个备选图像。也就是说，对输入图像的识别和对识别所得的备选图像的筛选可以由同一识别处理设备900实现。

在一些实施例中，识别处理设备900可以被配置为用于对植物的识别。当然，在其它一些实施例中，识别处理设备900也可以被配置为识别其它种类的对象。

根据本公开的另一个方面，提出了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有指令，当指令被执行时，可以实现上文所描述的识别处理方法中的步骤。

类似地，本公开实施例中的非暂态计算机可读存储介质可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。应注意，本文描述的非暂态计算机可读存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

如在此所使用的，词语“前”、“后”、“顶”、“底”、“之上”、“之下”等，如果存在的话，用于描述性的目的而并不一定用于描述不变的相对位置。应当理解，这样的词语在适当的情况下是可互换的，使得在此所描述的本公开的实施例，例如，能够在与在此所示出的或另外描述的那些取向不同的其他取向上操作。

如在此所使用的，词语“示例性的”意指“用作示例、实例或说明”，而不是作为将被精确复制的“模型”。在此示例性描述的任意实现方式并不一定要被解释为比其它实现方式优选的或有利的。而且，本公开不受在上述技术领域、背景技术、发明内容或具体实施方式中所给出的任何所表述的或所暗示的理论所限定。

如在此所使用的，词语“基本上”意指包含由设计或制造的缺陷、设备或部件的容差、环境影响和/或其它因素所致的任意微小的变化。词语“基本上”还允许由寄生效应、噪声以及可能存在于实际的实现方式中的其它实际考虑因素所致的与完美的或理想的情形之间的差异。

另外，前面的描述可能提及了被“连接”或“耦接”在一起的元件或节点或特征。如在此所使用的，除非另外明确说明，“连接”意指一个元件/节点/特征与另一种元件/节点/特征在电学上、机械上、逻辑上或以其它方式连接(或者通信)。类似地，除非另外明确说明，“耦接”意指一个元件/节点/特征可以与另一元件/节点/特征以直接的或间接的方式在机械上、电学上、逻辑上或以其它方式连结以允许相互作用，即使这两个特征可能并没有直接连接也是如此。也就是说，“耦接”意图包含元件或其它特征的直接连结和间接连结，包括利用一个或多个中间元件的连接。

另外，仅仅为了参考的目的，还可以在本文中使用“第一”、“第二”等类似术语，并且因而并非意图限定。例如，除非上下文明确指出，否则涉及结构或元件的词语“第一”、“第二”和其它此类数字词语并没有暗示顺序或次序。

还应注意，如本文所使用的，词语“包括”、“包含”、“具有”和任何其它变体说明存在所指出的特征、整体、步骤、操作、元件和/或部件，但是并不排除存在或增加一个或多个其它特征、整体、步骤、操作、元件、部件和/或其组合。

在本公开中，术语“提供”从广义上用于涵盖获得对象的所有方式，因此“提供某对象”包括但不限于“购买”、“制备/制造”、“布置/设置”、“安装/装配”、和/或“订购”对象等。

本领域技术人员还应当意识到，在上述操作之间的边界仅仅是说明性的。多个操作可以结合成单个操作，单个操作可以分布于附加的操作中，并且操作可以在时间上至少部分重叠地执行。而且，另选的实施例可以包括特定操作的多个实例，并且在其他各种实施例中可以改变操作顺序。但是，其它的修改、变化和替换同样是可能的。因此，本说明书和附图应当被看作是说明性的，而非限制性的。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。在此公开的实施例可以任意彼此组合，而不脱离本公开的精神和范围。本领域的技术人员还应理解，可以对上面的实施例进行修改而不脱离本公开的范围和精神。本公开的范围由所附权利要求来限定。

Claims (10)

1.一种识别处理方法，其特征在于，所述识别处理方法包括：

获取输入图像的第一热力分布数据，并根据所述第一热力分布数据计算所述输入图像的第一颜色特征数据，其中，所述第一热力分布数据包括所述输入图像的至少一部分的第一热力值；

分别获取多个备选图像中的每个备选图像的第二热力分布数据，并根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据，其中，备选图像的第二热力分布数据包括该备选图像的至少一部分的第二热力值，所述多个备选图像是根据对所述输入图像的识别而获得的；

分别计算所述第一颜色特征数据与每个第二颜色特征数据之间的颜色相似距离，并根据每个颜色相似距离将所述多个备选图像中的与所述输入图像颜色匹配的备选图像确定为输出图像。

2.根据权利要求1所述的识别处理方法，其特征在于，获取输入图像的第一热力分布数据包括：

采用预先训练的机器学习模型，确定所述输入图像中的每个第一图像单元的第一热力值；和/或

分别获取多个备选图像中的每个备选图像的第二热力分布数据包括：

采用预先训练的机器学习模型，针对每个备选图像，分别确定备选图像中的每个第二图像单元的第二热力值。

3.根据权利要求2所述的识别处理方法，其特征在于，所述机器学习模型包括注意力模型，所述注意力模型被配置为获取图像中的每个图像单元的受关注程度，且图像单元的热力值随着受关注程度的增大而增大。

4.根据权利要求2所述的识别处理方法，其特征在于，第一热力值大于或等于0、且小于或等于1；和/或

第二热力值大于或等于0、且小于或等于1。

5.根据权利要求1所述的识别处理方法，其特征在于，获取输入图像的第一热力分布数据包括：

对所述输入图像的每个部分的第一热力值进行模糊处理，以产生平滑的所述第一热力分布数据；和/或

分别获取多个备选图像中的每个备选图像的第二热力分布数据包括：

针对每个备选图像，分别对备选图像的每个部分的第二热力值进行模糊处理，以产生该备选图像的平滑的第二热力分布数据。

6.根据权利要求5所述的识别处理方法，其特征在于，所述模糊处理包括高斯模糊处理、均值模糊处理和中值模糊处理中的至少一种。

7.根据权利要求1所述的识别处理方法，其特征在于，根据所述第一热力分布数据计算所述输入图像的第一颜色特征数据包括：

确定所述输入图像中的每个第三图像单元的颜色的颜色坐标，其中，颜色坐标的每个坐标分量分别指示颜色在每个色彩通道上所处的灰度区间；

针对每个颜色坐标，分别计算所述输入图像中的具有同一颜色坐标的第三图像单元的第一热力值之和相对于所述输入图像的所有第三图像单元的第一热力值总和的第一比例；

根据颜色坐标和相应的第一比例，生成所述第一颜色特征数据；和/或

根据每个第二热力分布数据分别计算相应的备选图像的第二颜色特征数据包括：

针对每个备选图像，分别执行以下操作：

确定备选图像中的每个第四图像单元的颜色的颜色坐标；

针对同一备选图像中的每个颜色坐标，分别计算该备选图像中的具有同一颜色坐标的第四图像单元的第二热力值之和相对于该备选图像的所有第四图像单元的第二热力值总和的第二比例；

根据颜色坐标和相应的第二比例，生成该备选图像的第二颜色特征数据。

8.根据权利要求7所述的识别处理方法，其特征在于，色彩通道包括红色通道、绿色通道以及蓝色通道。

9.根据权利要求7所述的识别处理方法，其特征在于，所述输入图像中的第三图像单元的第一热力值是根据所述输入图像中的第一图像单元的第一热力值而获得的；和/或

备选图像中的第四图像单元的第二热力值是根据该备选图像中的第二图像单元的第二热力值而获得的。

10.根据权利要求7所述的识别处理方法，其特征在于，所述输入图像中的第一图像单元与所述输入图像中的整数个连续的第三图像单元重叠；和/或

备选图像中的第二图像单元与该备选图像中的整数个连续的第四图像单元重叠。

Images