CN112765380A - 图像处理方法、图像搜索方法、计算机设备、存储介质 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法、图像搜索方法、计算机设备、存储介质。依据本申请实施例，根据局部图像的特征数据确定局部图像相对于第一整体图像的相对参数，进一步根据相对参数搜索第二整体图像，由于相对参数表征了局部图像与第一整体图像的相对关系，那么根据相对参数进行图像搜索时，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。

Description

图像处理方法、图像搜索方法、计算机设备、存储介质

技术领域

本申请涉及数据处理技术领域，具体涉及一种图像处理方法、一种图像搜索方法、一种对象搜索方法、一种计算机设备、一种计算机可读存储介质。

背景技术

随着网络技术的发展，产生越来越多搜索图像的需求。一种搜图方式是基于文字的搜索，通过输入图像相关的文字信息作为搜索关键词进行图像搜索。而文字信息的提取并不能准确全面覆盖图像的特征，另一种搜图方式是以图搜图，顾名思义，根据图像来搜索图像。

在网络交易平台的应用中，经常需要根据图像进行商品搜索，得到搜索结果通常就是该商品本身，提供的信息非常有限。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像处理方法、图像搜索方法、对象搜索方法以及计算机设备、计算机可读存储介质。

依据本申请的一个方面，提供了一种图像处理的方法，包括：

获取第一整体图像的局部图像；

确定所述局部图像相对于第一整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于第一整体图像的比较值；

根据所述相对参数与所述局部图像，获取至少一个第二整体图像。

可选的，所述获取第一整体图像的局部图像包括：

根据选择操作从所述第一整体图像中截取所述局部图像。

可选的，所述确定所述局部图像相对于第一整体图像的相对参数包括：

将所述局部图像输入神经网络模型，得到所述局部图像相对于第一整体图像的相对参数。

可选的，所述方法还包括：

获取整体图像样本，并根据所述整体图像样本获得局部图像样本以及局部图像样本相对于整体图像样本的相对参数；

创建根据所述整体图像样本和局部图像样本预测相对参数的神经网络模型。

可选的，在所述确定所述局部图像相对于第一整体图像的相对参数之前，所述方法还包括：

提取所述局部图像的特征数据；

所述确定所述局部图像相对于所述第一整体图像的相对参数包括：

根据所述特征数据确定所述局部图像相对于所述第一整体图像的相对参数。

可选的，所述根据所述相对参数与所述局部图像，获取至少一个第二整体图像包括：

根据所述相对参数生成包括所述局部图像的参考图像；

根据所述参考图像进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

可选的，所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像包括：

提取所述参考图像的特征数据，根据所述特征数据进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

可选的，在所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像之前，所述方法还包括：

从至少一个视频中提取多个视频帧供图像搜索。

可选的，所述局部图像相对于第一整体图像的相对参数包括所述局部图像在所述第二整体图像上的位置信息。

根据本申请的另一个方面，提供了一种图像搜索方法，包括：

获取目标人物的人脸图像；

确定所述人脸图像相对于整体图像的相对参数，所述相对参数表征在特定维度上所述人脸图像相对于整体图像的比较值；

根据所述相对参数和人脸图像，在至少一个视频中查找视频帧图像，作为针对所述目标人物的查找结果。

根据本申请的另一个方面，提供了一种对象搜索方法，包括：

获取整体图像的局部图像；

确定所述局部图像相对于整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于整体图像的比较值；

根据所述相对参数和局部图像，查找属性图像与所述局部图像相关的目标对象。

根据本申请的另一个方面，提供了一种数据库的构建方法，包括：

根据整体图像样本获取局部图像样本；

确定多个局部图像样本分别与对应的整体图像样本的相对参数；

将确定的相对参数与局部图像对应添加至数据库中，以供查找相对参数。

根据本申请的另一个方面，提供了一种图像检索的方法，包括：

获取整体图像的局部图像；

在数据库中查找所述局部图像相对于整体图像的相对参数，所述数据库根据多个局部图像样本分别与对应的整体图像样本的相对参数构建；

根据所述相对参数和局部图像进行图像搜索。

根据本申请的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述的一个或多个的方法。

根据本申请的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的一个或多个的方法。

依据本申请实施例，根据局部图像的特征数据确定局部图像相对于第一整体图像的相对参数，进一步根据相对参数搜索第二整体图像，由于相对参数表征了局部图像与第一整体图像的相对关系，那么根据相对参数进行图像搜索时，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请实施例一的一种图像处理方法实施例的流程图；

图2示出了根据本申请实施例二的一种图像处理方法实施例的流程图；

图3示出了根据本申请实施例三的一种图像处理方法实施例的流程图；

图4示出了根据本申请实施例四的一种图像处理方法实施例的流程图；

图5示出了本申请实施例的一种图像处理方法的示例；

图6示出了本申请实施例的一种图像处理方法示例的示意图；

图7示出了根据本申请实施例的一个示例中图像处理方法的示意图；

图8示出了根据本申请实施例五的一种图像处理装置实施例的结构框图；

图9示出了根据本申请实施例六的一种图像处理装置实施例的结构框图；

图10示出了根据本申请实施例七的一种数据处理装置实施例的结构框图；

图11示出了可被用于实现本公开中所述的各个实施例的示例性系统。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

为使本领域技术人员更好地理解本申请，以下对本申请涉及的概念进行说明：

整体图像是指一张完整的图像，局部图像是整体图像的一部分，可以根据实际需要设定，例如人物图像中头部部分是整体图像的一部分，鞋子部分也可以是整体图像的一部分。从整体图像中获取局部图像可以是自行圈定，也可以是根据实际需要选取某个部位，通过算法识别该部位对应的局部图像。

本申请所提及的第一整体图像是指局部图像所对应的整体图像，可以是局部图像原本所处的整体图像。第二整体图像是搜索结果中的图像。

相对参数是局部图像在特定维度上相对于第一整体图像的相对值，例如可以是局部图像相对于第一整体图像的位置，例如将图像区域划分为多个区域，相对位置采用至少一个区域或是区域的标识来表示。例如，将图像划分为左上部、右上部、左下部和右下部，手在图像的左上部和右上部。还可以将图像区域划分为多级区域，例如左上部分还可以进一步为1-N个子区域，则第N-1个区域可以表示为左上/N-1，子区域还可以进一步划分单元区域，具体的划分层级可以根据实际需要来设置，可以理解的是，划分层级越多，则相对位置的精确度越高，相应图像检索的精度就越高。

可以理解的是，随着相对位置精度提高采用了更细粒度的表达，因此在处理过程中，包括后续检索中花费的时间也会更长，对于需要快速获得检索结果的场景，可以采用精度较低的相对位置，对检索精度要求较高同时对检索速度要求不高的场景，可以采用精度较高的相对位置。具体可以根据实际场景需求选择，或者也可以首先根据环境数据或是应用数据对业务场景进行识别，根据识别结果选择对应某个精度的相对位置的表达方式。

相对位置还可以采用根据整体图像构建的坐标系中坐标点的区域范围进行表示。

相对参数还可以是局部图像与第一整体图像的透明度的相对值等等。具体可以采用数值或是文字等表达方式，其中数值可以是数值矩阵。

本申请通过训练神经网络模型进行相对参数的确定，具体可以采用STN(空间变换网络，Spatial Transform Networks)模型，该模型可以在输入数据空间差异较大的情况下，保证预测结果的准确性。

本申请可以应用于图像搜索领域，通常的图像搜索根据局部图像进行搜索时，搜索结果通常仅仅包括局部图像，并不符合用户的需求。依据本申请实施例，通过确定局部图像相对于第一整体图像的相对参数，并依据局部图像以及该相对参数进行图像搜索，从而使得局部图像与搜索结果中第二整体图像的相对关系与该局部图像与第一整体图像的相对关系相似，并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他分析。

本申请实施例中，可选的，局部图像可以根据选择操作从第一整体图像中截取。

本申请实施例中，可以收集整体图像样本，并根据整体图像样本获得局部图像样本以及局部图像样本相对于整体图像样本的相对参数。进一步可以根据局部图像样本、整体图像样本以及相对参数训练神经网络模型，该神经网络模型用于预测相对参数。

在计算机视觉领域，要想让机器识别图像，则需要将图像抽象表示成可被机器理解的形式，即对图像进行特征提取，采用特征数据来表示图像。特征数据可以包括内容元素在一个或多个维度上的特征，具体可以采用向量的表达形式，也即是把图像向量化。例如内容元素对应某个数据种类的个数、像素个数、位置坐标等等。本申请实施例还可以提取局部图像的特征数据，以特征数据表征图像以及进行图像运算，构建高维度的特征数据可以更准确地表征图像。

本申请实施例中，还可以根据局部图像以及相对参数构建参考图像，参考图像中包括了局部图像，并表征了局部图像与第一整体图像的相对参数，那么根据参考图像进行图像搜索时，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

以整体图像为人的全身照、局部图像为帽子、相对参数为局部图像与第一整体图像的相对位置、搜索相似图像为例，根据帽子图像和帽子在全身图像中的位置进行搜索，得到的第二整体图像中包括帽子，并且帽子在第二整体图像中所处的位置与帽子在第一整体图像中所处的位置相同。从而使得搜索结果中不仅有帽子，还提供了人带着帽子的展示效果，相比于仅仅提供帽子图像的搜索结果，依据本申请实施例的方案可以提供更多的参考依据。

本申请的图像来源可以是视频，提取视频帧作为图像。第一整体图像可以是从视频中提取的视频帧，图像搜索时所用到的图像库也可以来自于视频中的视频帧。例如将本申请实施例应用到视频搜索场景下，可以根据某个人的头部图像，在视频中搜索该人物对应的多个视频帧，从而实现在视频中查找人物的目的。

参照图1，示出了根据本申请实施例一的一种图像处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤101，获取第一整体图像的局部图像。

局部图像可以从第一整体图像中截取，具体可以通过提供截取界面，根据输入的截取轨迹截取局部图像，或者可以提供选择界面，通过选取局部图像的标识，在第一整体图像中识别出局部图像之后，提取局部图像。

一种可选的实施例中，获取局部图像时，可以根据选择操作从第一整体图像中截取局部图像。

步骤102，确定所述局部图像相对于第一整体图像的相对参数。

在确定局部图像和第一整体图像之后，可以进一步确定局部图像相对于第一整体图像的相对参数。

相对参数表征在特定维度上局部图像相对于第一特征图像的比较值。

确定相对参数的具体方式可以根据实际需要选择，在一种可选的实施例中，可以根据神经网络模型来预测局部图像相对于第一整体图像的相对参数，将局部图像和第一整体图像或表征局部图像和第一整体图像的表征数据输入神经网络模型，神经网络模型输出局部图像和第一整体图像的相对参数。其中表征数据可以根据实际需要选取，比如表征数据可以是图像的特征数据。

确定所述局部图像相对于第一整体图像的相对参数时，可以将所述局部图像输入神经网络模型，得到所述局部图像相对于第一整体图像的相对参数。

具体而言，神经网络模型可以根据图像样本训练得到，具体可以获取整体图像样本，并根据整体图像样本获得局部图像样本，以及局部图像样本相对于整体图像样本的相对参数，进一步创建根据整体图像样本和局部图像样本预测相对参数的神经网络模型。其中，根据整体图像获得局部样本的方式可以通过采用设定的模型识别，也可以提供图像截取或选择的界面供选择局部图像。

步骤103，根据所述相对参数与所述局部图像，获取至少一个整体图像。

获取局部图像相关的整体图像时，以相对参数也作为参考依据，相对参数表征了局部图像与第一整体图像之间在特定维度上的相对关系，因此，根据相对参数和局部图像获取相关的整体图像，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

一种可选的实施例中，用于图像搜索的第二整体图像可以包括视频帧图像，具体可以从至少一个视频中提取多个视频帧供图像搜索。

一种可选的实施例中，局部图像相对于整体图像的相对参数可以包括局部图像在整体图像上的位置信息。

参照图2，示出了根据本申请实施例二的一种图像处理方法实施例的流程图，该方法具体可以包括以下步骤：

步骤201，获取第一整体图像的局部图像。

步骤202，提取所述局部图像的特征数据。

步骤203，根据所述特征数据确定所述局部图像相对于所述第一整体图像的相对参数，所述相对参数表征在特定维度上所述局部图像相对于第一整体图像的比较值。

步骤204，根据所述相对参数生成包括所述局部图像的参考图像。

步骤205，根据所述参考图像进行图像搜索，得到至少一个第二整体图像。

本实施例中，可以根据相对参数生成参考图像，参考图像中包括局部图像，根据相对参数生成，表征局部图像以及局部图像与第一整体图像之间在特定维度上的相对关系，可以用于进一步的图像搜索。

根据相对参数生成参考图像的方式可以根据实际需要选择，以相对参数包括局部图像在第一整体图像中的位置为例，可以按照相对参数将局部图像对齐到参考图像中的目标位置，从而使得根据该参考图像进行图像搜索的搜索结果中，局部图像仍然位于目标位置。例如可以生成一张包括局部图像的新图像，并设定局部图像在该新图像中的位置与局部图像在第一整体图像中的位置相同，新图像中除去局部图像之外的内容可以是空白，也可以是其他的图像信息，以该新图像为参考图像。

在一种可选的实施例中，根据所述参考图像进行图像搜索，得到与局部图像相关的至少一个整体图像时，可以提取参考图像的特征数据，根据特征数据进行图像搜索，得到与局部图像相关的至少一个整体图像。参考图像的特征数据的提取可以参考上述的实现方式。

本申请实施例中，根据局部图像的特征数据确定局部图像相对于第一整体图像的相对参数，进一步根据局部图像以及相对参数构建参考图像，参考图像中包括了局部图像，并表征了局部图像与第一整体图像的相对参数，那么根据参考图像进行图像搜索时，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

参照图3，示出了根据本申请实施例三的一种图像搜索方法实施例的流程图，该方法具体可以包括以下步骤：

步骤301，获取目标人物的人脸图像。

本申请实施例可以应用于人物搜索，根据所需搜索的目标人物的人脸图像，查找包括该目标人物的图像。

步骤302，确定所述人脸图像相对于整体图像的相对参数，所述相对参数表征在特定维度上所述人脸图像相对于整体图像的比较值。

步骤303，根据所述相对参数和人脸图像，在至少一个视频中查找4视频帧图像，作为针对所述目标人物的查找结果。

本实施例从视频中查找目标人物，将视频分解为多个视频帧图像，根据相对参数在视频帧图像中查找包括人脸图像的目标图像，该查找结果的图像中包括人脸图像，其中人脸图像与该查找结果的图像之间的相对关系，符合人脸图像与整体图像之间的相对参数。

本申请实施例中，根据局部图像的特征数据确定人脸图像相对于整体图像的相对参数，进一步根据相对参数从视频帧图像中搜索包括人脸图像的目标图像。由于相对参数表征了人脸图像与整体图像在特定维度上的相对关系，那么根据相对参数进行图像搜索时，既考虑了整体图像与人脸图像的关联性，也考虑了人脸图像与整体图像的相对参数，从而使得搜索到的视频帧图像与人脸图像的关联性与整体图像与人脸图像的关联性相似。并且视频帧图像中还提供了除去人脸图像的其他图像内容，其他图像内容与人脸图像的关联关系可提供给用户参考或用于其他业务分析。

参照图4，示出了根据本申请实施例四的一种对象搜索方法实施例的流程图，该方法具体可以包括以下步骤：

步骤401，获取整体图像的局部图像。

步骤402，确定所述局部图像相对于整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于整体图像的比较值。

步骤403，根据所述相对参数和局部图像，查找属性图像与所述局部图像相关的目标对象。

本实施例中，目标对象可以是任何数据对象，属性数据用于描述该数据对象。以网络交易平台为例，目标对象可以是商品，属性数据用于描述该商品，例如商品的详情描述、商品评价信息等。

根据相对参数和局部图像进行搜索，识别与局部图像相似的属性图像，并且该属性图像与局部图像的相对参数与局部图像与整体图像的相对参数一致。

本申请实施例中，根据局部图像的特征数据确定局部图像相对于整体图像的相对参数，进一步根据局部图像以及相对参数搜索属性图像与局部图像相似的目标对象。由于相对参数表征了特定维度上局部图像与整体图像的比较值，根据相对参数进行图像搜索时，既考虑了整体图像与局部图像的关联性，也考虑了局部图像与整体图像的相对参数，从而使得属性图像与局部图像的关联性与整体图像与局部图像的关联性相似。并且属性图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

为使本领域技术人员更好地理解本申请，以下通过具体的示例对本申请的一种图像处理方法进行说明。

图5示出了本申请实施例的一种图像处理方法的示例。如图5所示，输入图像，包括输入左上方的整体图像，以及一个或多个局部图像(如左下方脚部、右上方手部、右下方头部的局部图像)，进一步执行步骤(1)，将整体图像和局部图像输入神经网络模型(例如STN模型)，也即是步骤(2)得到相对参数(也即是图中变换参数)，根据相对参数和局部图像可以经步骤(3)变换得到参考图像，经过步骤(4)采用基础特征网络提取参考图像的特征，根据特征进行图像搜索。

图6示出了本申请实施例的一种图像处理方法示例的示意图。

以搜索行人场景为例，其中，相对参数为局部图像在整体图像中的位置。选取行人的人物局部图像，得到行人的头部图像，并识别出头部图像相对于整体图像的位置关系是位于整体图像的上部。进一步，对图像进行几何变化，也即是根据头部图像相对于原来的整体图像的位置，得到参考图像，参考图像即包括头部图像，同时也表征了头部图像相对于原来的整体图像之间的相对位置，如图6所示的参考图像中，除去头部图像之外的部分为空白，头部图像位于参考图像的上部，也即是达到了与原来的整体图像一样的对其效果。

以参考图像进行图像搜索即可得到包括该行人的搜索结果，并且头部图像位于搜索结果的上部。

在一种示例中，还可以同时获取多个局部图像分别相对于整体图像的相对参数，在进行图像检索时，可以根据其中的一个或多个局部图像及其对应的相对参数进行图像检索，可以根据实际应用场景进行选择，本申请对此并不做限制。参考图7，示出了根据本申请实施例的一个示例中图像处理方法的示意图。输入人物图像后，通过神经网络模型识别，同时获得N个局部图像，例如头部、手部、脚部分别对应的局部图像，以及，这些局部图像分别对应的相对参数，经过图像数据库检索，得到与头部、手部、脚部的图像相关，并且相对关系一致的检索结果。

参照图8，示出了根据本申请实施例五的一种图像处理装置实施例的结构框图，具体可以包括：

局部图像获取模块501，用于获取第一整体图像的局部图像；

相对参数确定模块502，用于确定所述局部图像相对于第一整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于第一整体图像的比较值；

整体图像获取模块503，用于根据所述相对参数与所述局部图像，获取至少一个整体图像。

本申请的一种可选的实施例中，所述局部图像获取模块，可以具体用于根据选择操作从所述整体图像中截取所述局部图像。

本申请的一种可选的实施例中，所述相对参数确定模块，可以具体用于将所述局部图像输入神经网络模型，得到所述局部图像相对于整体图像的相对参数。

本申请的一种可选的实施例中，所述装置还包括：

样本获取模块，用于获取整体图像样本；

参数确定模块，用于根据所述整体图像样本获得局部图像样本以及局部图像样本相对于整体图像的相对参数；

模型创建模块，用于创建根据所述整体图像样本和局部图像样本预测相对参数的神经网络模型。

本申请的一种可选的实施例中，所述装置还包括：

特征数据提取模块，用于在所述确定所述局部图像相对于整体图像的相对参数之前，提取所述局部图像的特征数据；

所述相对参数确定模块，可以具体用于根据所述特征数据确定所述局部图像相对于所述整体图像的相对参数。

本申请的一种可选的实施例中，所述整体图像获取模块包括：

参考图像生成子模块，用于根据所述相对参数生成包括所述局部图像的参考图像；

整体图像搜索子模块，用于根据所述参考图像进行图像搜索，得到与所述局部图像相关的至少一个整体图像。

本申请的一种可选的实施例中，所述整体图像搜索子模块，具体用于提取所述参考图像的特征数据，根据所述特征数据进行图像搜索，得到与所述局部图像相关的至少一个整体图像。

本申请的一种可选的实施例中，所述装置还包括：

视频帧提取模块，用于在所述根据所述参考图像进行图像搜索，得到与所述局部图像相关的至少一个整体图像之前，从至少一个视频中提取多个视频帧供图像搜索。

本申请的一种可选的实施例中，所述局部图像相对于整体图像的相对参数包括所述局部图像在所述整体图像上的位置信息。

本申请实施例中，根据局部图像的特征数据确定局部图像相对于第一整体图像的相对参数，进一步根据相对参数搜索第二整体图像，由于相对参数表征了局部图像与第一整体图像的相对关系，那么根据相对参数进行图像搜索时，既考虑了第二整体图像与局部图像的关联性，也考虑了局部图像与第一整体图像的相对参数，从而使得第二整体图像与局部图像的关联性与第一整体图像与局部图像的关联性相似。并且第二整体图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

参照图9，示出了根据本申请实施例六的一种图像搜索装置实施例的结构框图，具体可以包括：

人脸图像获取模块601，用于获取目标人物的人脸图像；

相对参数确定模块602，用于确定所述人脸图像相对于整体图像的相对参数，所述相对参数表征在特定维度上所述人脸图像相对于整体图像的比较值；

视频帧图像查找模块603，用于根据所述相对参数和人脸图像，在至少一个视频中查找视频帧图像，作为针对所述目标人物的查找结果。

本申请实施例中，根据局部图像的特征数据确定人脸图像相对于整体图像的相对参数，进一步根据相对参数从视频帧图像中搜索包括人脸图像的目标图像。由于相对参数表征了特定维度上人脸图像与整体图像的比较值，那么根据相对参数进行图像搜索时，既考虑了整体图像与人脸图像的关联性，也考虑了人脸图像与整体图像的相对参数，从而使得搜索到的视频帧图像与人脸图像的关联性与整体图像与人脸图像的关联性相似。并且视频帧图像中还提供了除去人脸图像的其他图像内容，其他图像内容与人脸图像的关联关系可提供给用户参考或用于其他业务分析。

参照图10，示出了根据本申请实施例七的一种对象搜索装置实施例的结构框图，具体可以包括：

局部图像获取模块701，用于获取整体图像的局部图像；

相对参数确定模块702，用于确定所述局部图像相对于整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于整体图像的比较值；

目标对象查找模块703，用于根据所述相对参数和局部图像，查找属性图像与所述局部图像相关的目标对象。

本申请实施例中，根据局部图像的特征数据确定局部图像相对于整体图像的相对参数，进一步根据局部图像以及相对参数搜索属性图像与局部图像相似的目标对象。由于相对参数表征了特定维度上局部图像与整体图像的比较值，根据相对参数进行图像搜索时，既考虑了整体图像与局部图像的关联性，也考虑了局部图像与整体图像的相对参数，从而使得属性图像与局部图像的关联性与整体图像与局部图像的关联性相似。并且属性图像中还提供了除去局部图像的其他图像内容，其他图像内容与局部图像的关联关系可提供给用户参考或用于其他业务分析。

具体实现中，还可以预先分析多个局部图像分别相对于整体图像的相对参数，并建立专用的数据库进行保存。如下根据本申请实施例八的一种数据库构建方法实施例，包括：

步骤S11，根据整体图像样本获取局部图像样本。

步骤S12，确定所述局部图像样本相对于整体图像样本的相对参数。

步骤S13，将确定的相对参数与局部图像对应添加至数据库中，以供查找相对参数。

局部图像、相对参数可以表示为数据对的方式，当整体图像对应不同类别(人物图像、环境图像等)，可以将整体图像、局部图像和相对参数以数据组的方式进行保存。例如，可以保存为头部图像-人物图像-相对参数为图像上部区域。当然，还可以建立其他的数据结构，例如哈希结构、图数据结构等，图像还可以添加有图像类别标识，便于后续查找。

结合上个实施例，可以通过数据库查找的方式确定相对参数，如下根据本申请实施例九的一种图像搜索方法实施例，包括：

步骤S21，获取整体图像的局部图像。

步骤S22，在数据库中查找所述局部图像相对于整体图像的相对参数，所述数据库根据多个局部图像样本分别与对应的整体图像样本的相对参数构建。

步骤S23，根据所述相对参数和局部图像进行图像搜索。

后续进行相对参数的查询时，输入局部图像和整体图像，或是，提供局部图像和整体图像分别对应的类别标识，从而获得相对参数，相比临时计算相对参数的方式可以大大提高图像搜索的效率。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的系统。图11示意性地示出了可被用于实现本公开中所述的各个实施例的示例性系统(或装置)800。

对于一个实施例，图11示出了示例性系统800，该系统具有一个或多个处理器802、被耦合到(一个或多个)处理器802中的至少一个的系统控制模块(芯片组)804、被耦合到系统控制模块804的系统存储器806、被耦合到系统控制模块804的非易失性存储器(NVM)/存储设备808、被耦合到系统控制模块804的一个或多个输入/输出设备810，以及被耦合到系统控制模块806的网络接口812。

处理器802可包括一个或多个单核或多核处理器，处理器802可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，系统800能够作为本申请实施例中所述的浏览器。

在一些实施例中，系统800可包括具有指令的一个或多个计算机可读介质(例如，系统存储器806或NVM/存储设备808)以及与该一个或多个计算机可读介质相合并被配置为执行指令以实现模块从而执行本公开中所述的动作的一个或多个处理器802。

对于一个实施例，系统控制模块804可包括任意适当的接口控制器，以向(一个或多个)处理器802中的至少一个和/或与系统控制模块804通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块804可包括存储器控制器模块，以向系统存储器806提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。

系统存储器806可被用于例如为系统800加载和存储数据和/或指令。对于一个实施例，系统存储器806可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器806可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块804可包括一个或多个输入/输出控制器，以向NVM/存储设备808及(一个或多个)输入/输出设备810提供接口。

例如，NVM/存储设备808可被用于存储数据和/或指令。NVM/存储设备808可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备808可包括在物理上作为系统800被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备808可通过网络经由(一个或多个)输入/输出设备810进行访问。

(一个或多个)输入/输出设备810可为系统800提供接口以与任意其他适当的设备通信，输入/输出设备810可以包括通信组件、音频组件、传感器组件等。网络接口812可为系统800提供接口以通过一个或多个网络通信，系统800可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如WiFi、2G、3G、4G或5G，或它们的组合进行无线通信。

对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器802中的至少一个可与系统控制模块804的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统800可以但不限于是：浏览器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统800可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统800包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

其中，如果显示器包括触摸面板，显示屏可以被实现为触屏显示器，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在终端设备时，可以使得该终端设备执行本申请实施例中各方法步骤的指令(instructions)。

在一个示例中提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本申请实施例的方法。

在一个示例中还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本申请实施例的一个或多个的方法。

本申请实施例公开了一种图像处理方法和装置，示例1包括一种图像处理方法，包括：

获取第一整体图像的局部图像；

确定所述局部图像相对于第一整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于第一整体图像的比较值；

根据所述相对参数与所述局部图像，获取至少一个第二整体图像。

示例2可包括示例1所述的方法，所述获取第一整体图像的局部图像包括：

根据选择操作从所述第一整体图像中截取所述局部图像。

示例3可包括示例1所述的方法，所述确定所述局部图像相对于第一整体图像的相对参数包括：

将所述局部图像输入神经网络模型，得到所述局部图像相对于第一整体图像的相对参数。

示例4可包括示例3所述的方法，所述方法还包括：

获取整体图像样本，并根据所述整体图像样本获得局部图像样本以及局部图像样本相对于整体图像样本的相对参数；

创建根据所述整体图像样本和局部图像样本预测相对参数的神经网络模型。

示例5可包括示例1所述的方法，在所述确定所述局部图像相对于第一整体图像的相对参数之前，所述方法还包括：

提取所述局部图像的特征数据；

所述确定所述局部图像相对于所述第一整体图像的相对参数包括：

根据所述特征数据确定所述局部图像相对于所述第一整体图像的相对参数。

示例6可包括示例1所述的方法，所述根据所述相对参数与所述局部图像，获取至少一个第二整体图像包括：

根据所述相对参数生成包括所述局部图像的参考图像；

根据所述参考图像进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

示例7可包括示例6所述的方法，所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像包括：

提取所述参考图像的特征数据，根据所述特征数据进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

示例8可包括示例1所述的方法，在所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像之前，所述方法还包括：

从至少一个视频中提取多个视频帧供图像搜索。

示例9可包括示例1所述的方法，所述局部图像相对于第一整体图像的相对参数包括所述局部图像在所述第二整体图像上的位置信息。

示例10包括一种图像搜索方法，包括：

获取目标人物的人脸图像；

确定所述人脸图像相对于整体图像的相对参数，所述相对参数表征在特定维度上所述人脸图像相对于整体图像的比较值；

根据所述相对参数和人脸图像，在至少一个视频中查找视频帧图像，作为针对所述目标人物的查找结果。

示例11包括一种对象搜索方法，包括：

获取整体图像的局部图像；

确定所述局部图像相对于整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于整体图像的比较值；

根据所述相对参数和局部图像，查找属性图像与所述局部图像相关的目标对象。

示例12包括一种数据库的构建方法，包括：

根据整体图像样本获取局部图像样本；

确定多个局部图像样本分别与对应的整体图像样本的相对参数；

将确定的相对参数与局部图像对应添加至数据库中，以供查找相对参数。

示例13包括一种图像检索的方法，包括：

获取整体图像的局部图像；

在数据库中查找所述局部图像相对于整体图像的相对参数，所述数据库根据多个局部图像样本分别与对应的整体图像样本的相对参数构建；

根据所述相对参数和局部图像进行图像搜索。

示例14包括一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如示例1-13一个或多个的方法。

示例15包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如示例1-13一个或多个的方法。

虽然某些实施例是以说明和描述为目的的，各种各样的替代、和/或、等效的实施方案、或计算来达到同样的目的实施例示出和描述的实现，不脱离本申请的实施范围。本申请旨在覆盖本文讨论的实施例的任何修改或变化。因此，显然本文描述的实施例仅由权利要求和它们的等同物来限定。

Claims (15)

1.一种图像处理的方法，其特征在于，包括：

获取第一整体图像的局部图像；

确定所述局部图像相对于第一整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于第一整体图像的比较值；

根据所述相对参数与所述局部图像，获取至少一个第二整体图像。

2.根据权利要求1所述的方法，其特征在于，所述获取第一整体图像的局部图像包括：

根据选择操作从所述第一整体图像中截取所述局部图像。

3.根据权利要求1所述的方法，其特征在于，所述确定所述局部图像相对于第一整体图像的相对参数包括：

将所述局部图像输入神经网络模型，得到所述局部图像相对于第一整体图像的相对参数。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获取整体图像样本，并根据所述整体图像样本获得局部图像样本以及局部图像样本相对于整体图像样本的相对参数；

创建根据所述整体图像样本和局部图像样本预测相对参数的神经网络模型。

5.根据权利要求1所述的方法，其特征在于，在所述确定所述局部图像相对于第一整体图像的相对参数之前，所述方法还包括：

提取所述局部图像的特征数据；

所述确定所述局部图像相对于所述第一整体图像的相对参数包括：

根据所述特征数据确定所述局部图像相对于所述第一整体图像的相对参数。

6.根据权利要求1所述的方法，其特征在于，所述根据所述相对参数与所述局部图像，获取至少一个第二整体图像包括：

根据所述相对参数生成包括所述局部图像的参考图像；

根据所述参考图像进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像包括：

提取所述参考图像的特征数据，根据所述特征数据进行图像搜索，得到与所述局部图像相关的至少一个第二整体图像。

8.根据权利要求1所述的方法，其特征在于，在所述根据所述参考图像进行图像搜索，得到至少一个第二整体图像之前，所述方法还包括：

从至少一个视频中提取多个视频帧供图像搜索。

9.根据权利要求1所述的方法，其特征在于，所述局部图像相对于第一整体图像的相对参数包括所述局部图像在所述第二整体图像上的位置信息。

10.一种图像搜索方法，其特征在于，包括：

获取目标人物的人脸图像；

确定所述人脸图像相对于整体图像的相对参数，所述相对参数表征在特定维度上所述人脸图像相对于整体图像的比较值；

根据所述相对参数和人脸图像，在至少一个视频中查找视频帧图像，作为针对所述目标人物的查找结果。

11.一种对象搜索方法，其特征在于，包括：

获取整体图像的局部图像；

确定所述局部图像相对于整体图像的相对参数；所述相对参数表征在特定维度上所述局部图像相对于整体图像的比较值；

根据所述相对参数和局部图像，查找属性图像与所述局部图像相关的目标对象。

12.一种数据库的构建方法，其特征在于，包括：

根据整体图像样本获取局部图像样本；

确定多个局部图像样本分别与对应的整体图像样本的相对参数；

将确定的相对参数与局部图像对应添加至数据库中，以供查找相对参数。

13.一种图像检索的方法，其特征在于，包括：

获取整体图像的局部图像；

在数据库中查找所述局部图像相对于整体图像的相对参数，所述数据库根据多个局部图像样本分别与对应的整体图像样本的相对参数构建；

根据所述相对参数和局部图像进行图像搜索。

14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-13一个或多个的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-13一个或多个的方法。

Images