CN110490272B - 图片内容相似度分析方法、装置及存储介质 - Google Patents

Abstract

本申请实施例公开了一种图片内容相似度分析方法、装置及存储介质，其中图片内容相似度分析方法包括：从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于相似度结果，计算第一图片与第二图片的内容相似度。本方案可在图片背景复杂的情况下，将相似度算法应用到小区域上，规避了图片相似度算法对大图片复杂背景、多目标场景不鲁棒的问题，提升了图片内容相似度分析结果的准确性。

Description

图片内容相似度分析方法、装置及存储介质

技术领域

本申请涉及信息处理技术领域，具体涉及一种图片内容相似度分析方法、装置及存储介质。

背景技术

随着科技的发展与社会不断的进步，人们可以快速方便地获取图像资源，如何从这些海量的图像资源里找到一些相似或者相同的图像显得非常重要。在实现本发明过程中，发明人发现现有技术采用Hash(哈希)值来识别图片相似度。然而，由于图像内容的多元化及复杂程度的增加，对内容相似或局部内容相似的图片，采用识别的Hash方法准确率较低。

发明内容

本申请实施例提供一种图片内容相似度分析方法、装置及存储介质，可提升图像内容相似度分析结果的准确性。

从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；

从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；

对所述第一局部图片序列与所述第二局部图片序列进行相似度分析处理，得到相似度结果；

基于所述相似度结果，计算所述第一图片与所述第二图片的内容相似度。

相应的，本申请实施例还提供了一种图片内容相似度分析装置，包括：

第一确定单元，用于从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；

第二确定单元，用于从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；

分析单元，用于对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；

处理单元，用于基于所述相似度结果，计算第一图片与第二图片的内容相似度。

相应的，本申请实施例还提供了一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行如上所述图片内容相似度分析方法中的步骤。

本申请方案可在图片背景复杂的情况下，将相似度算法应用到小区域上，规避了图片相似度算法对大图片复杂背景、多目标场景不鲁棒的问题，提升了图像内容相似度分析结果的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图片内容相似度分析方法的流程示意图。

图2是本申请实施例提供的图片内容相似度分析装置的结构示意图。

图3是本申请实施例提供的终端的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图片内容相似度分析方法、装置及存储介质。

其中，该图片内容相似度分析装置具体可以集成在平板PC(Personal Computer)、手机等具备储存单元并安装有微处理器而具有运算能力的终端机中。

相关技术中，在进行图片相似度判断时，相当一部分传统方法采用Hash算法判断图片相似度。然而Hash算法判断的方法对旋转、变色等变换鲁棒性很差，准确率也不够高。另外，基于特征的相似度判断，分为基于手工图片特征(如STFT)与基于卷积特征的判断，这类方法具有较好的鲁棒性和准确率。然而，对于大图片尤其在背景干扰的情况下，此类算法不能直接用于内容相似度检测。总而言之，传统的图片相似度判断技术(如基于Hash算法的图片相似度判断、基于特征的图片相似度判断方法)更倾向于判断在有水印、模糊、旋转、噪声、剪切等影响下，一张图片和其原本的版本的相似程度。

另外，两张图片中内容相似，但局部上未必有相似性。例如，售卖某类物品(如电脑)的广告图，具体形式是多种多样的，但都包含所售卖目标(电脑)或其部分组件。且相同的目标局部相似度也是不同的。例如，同样为电脑，两台苹果电脑的相似度要比一台苹果电脑一台其他品牌电脑相似度高。而上述方法，都无法有效解决此类问题。

有基于此，本申请实施例提供一种图片内容相似度分析方法。该方法包括：从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于所述相似度结果，计算第一图片与第二图片的内容相似度。

以下分别进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。

请参阅图1，图1为本申请实施例提供的图片内容相似度分析方法的流程示意图。该图片内容相似度分析方法的具体流程可以如下：

101、从第一图片中确定待分析的多个局部区域，得到第一局部图片序列。

其中，该第一图片可以是指由图形、图像等构成的平面媒体。它是有形式的事物，是图画、照片、拓片等的统称，指用点、线、符号、文字和数字等描绘事物几何特征、形态、位置及大小的一种形式。图片的格式很多，但总体上可以分为点阵图和矢量图两大类，常用BMP、JPG等格式都是点阵图形，而SWF、CDR、AI等格式的图形属于矢量图形。随着数字采集技术和信号处理理论的发展，越来越多的图片以数字形式存储。

在本申请实施例中，第一图片可以为图像中组成元素较多、画面干扰程度较大的图片，如背景画面复杂的广告图片。

针对此类图片的图像比对时，由于图片内容元素繁多复杂。因此，为了降低图片的复杂程度，本方案中，可以将需要比较的目标从原图片中提取出来以便进行分析比对。也即，在一些实施例中，步骤“从第一图片中确定待分析的多个局部区域，得到第一局部图片序列”，可以包括以下流程：

根据预训练的目标检测模型从第一图片中识别出实体位置信息；

基于识别出的实体位置信息从第一图片中提取局部图像，得到第一局部图片序列。

其中，实体指第一图片中具有实体形态的人和/或物，如有生命的人物动植物、及没有生命的物体(如电器产品、家居产品、日用品等等)等。

在本申请实施例中，需要预训练目标定位模型，如Faster-RCNN算法模型、Yolo算法模型、SSD算法模型等。通常，此类模型是完整的目标检测模型的一部分，而完整的目标检测模型一般包括目标定位部分和目标分类部分。也即，实际操作中，可从已经预训练好的目标检测模型中可以抽出目标定位部分，该部分的作用是给出“可能是物体”实体的位置信息(如坐标信息)。如果预训练的模型能够包含待检测目标的类别，也可以保留全部预训练模型，获得带有类别标签的最终实体位置信息。

基于预训练的目标检测模型，对第一图片中的实体进行位置检测，从而确定第一图片中所有实体的具体位置。然后，基于该具体位置，从第一图片中将相应的区域图片(即实体图片)截取出来，可以得一个或多个区域图片，从而形成第一局部图片序列。

在一些实施例中，以待对比的第一图片为图片A为例，可用目标检测模型的定位功能，获取可能目标的坐标位置，并将其截取出来，这样便能形成局部图片序列Ao＝[Ao1,Ao2,Ao3…Aon]。例如，得到的第一局部图片序列中，可以包括一个电脑图片、杯子图片、电脑上的商标图片、杯子上的图案图片等等局部图像。

102、从第二图片中确定待分析的多个局部区域，得到第二局部图片序列。

同样的，第二图片优选可以为图像中组成元素较多、画面干扰程度较大的图片，如背景画面复杂的广告图片。步骤“从第二图片中确定待分析的多个局部区域，得到第二局部图片序列”，可以包括以下流程：

根据预训练的目标检测模型从第二图片中识别出实体位置信息；

基于识别出的实体位置信息从第二图片中提取局部图像，得到第二局部图片序列。

其中，此处实体可参考上述第一图片中实体的定义，指第二图片中具有实体形态的人和/或物，如有生命的人物动植物、及没有生命的物体(如电器产品、家居产品、日用品等等)等。

同样地，基于预训练的目标检测模型，对第二图片中的实体进行位置检测，从而确定第二图片中所有实体的具体位置。然后，基于该具体位置，从第二图片中将相应的区域图片(即实体图片)截取出来，可以得一个或多个区域图片，从而形成第二局部图片序列。

在一些实施例中，以待对比的第一图片为图片B为例，可用目标检测模型的定位功能，获取可能目标的坐标位置，并将其截取出来，这样便能形成局部图片序列Bo＝[Bo1,Bo2,Bo3…Bom]。例如，得到的第二局部图片序列中，可以包括一个电脑图片、杯子图片、电脑上的商标图片、杯子上的图案图片等等局部图像。

需要说明的是，上述第一局部图片序列和第二局部图片序列中的每一项都是一个包含目标的局部图片。且两个序列长度可以相同，也可以不相同。

103、对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果。

实际应用中，图片相似度的分析有多个维度，例如色调相似，旋转、模糊、缩放后相似等。在本申请实施例中，所要分析的图片相似度具体指图片包含相似的内容(或主题)的相似度。因此，本申请提出了图片内容相似度判断方法，基于图片包含的目标实体判断图片相似度，尤其适用于在图片内容对相似性判别较为重要的场景，如广告图片。

在一些实施例中，衡量序列Ao和序列Bo的相似性时，不妨设n<m，设有局部图片相似性度量f，则需要从Bo中筛选n项，且寻找此n项的一种排列，使得相似度Sim(Ao，Bo)最大，相似度计算公式如下：

具体的，可以遍历Bo的所有n项子序列之所有排列，以获得最小的损失。这种方法需要m！(即m的阶乘)次比较。然而，由于此种方法计算复杂度比较高，当两个局部图片序列中的元素数目不会太多时，可以直接采用此种计算方式对第一局部图片序列和第二局部图片序列进行全序列排序。也即，在一些实施例中，步骤“对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果”，可以包括以下步骤：

(11)确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中局部图片的第二数量；

(12)若第一数量与第二数量均不超过第一预设值，则对第一局部图片序列与第二局部图片序列进行全序列图片的相似度分析，得到相似度结果。

其中，第一预设值的设定可依据终端中处理器的实际处理能力来进行评估设定。由于终端处理能力对结果的输出具有较大的影响，因此对于处理能力较强的终端，可将第一预设值设置为较大的值，对于处理能力较差的终端，可将该第一预设值设置为较小的值。实际应用中，还可以参考其他会影响结果输出速度的因素，对第一预设值的设定进行适应性调整。

然而，当局部图片序列中的局部图片过多时，若直接采用上述计算方式对第一局部图片序列和第二局部图片序列进行全序列排序，容易导致获取所有排列的次数较多，使得计算复杂程度较高。在本实施例中，可采用一系列的筛选规则，可对局部图片序列中的局部图片进行筛选，筛除一些匹配程度较低的局部图片，以降低计算的复杂程度。具体实施时，可以设置一个最大的m值m_max，图片序列中的元素数量超过m_max时，可采用筛选规则对局部图片序列中的局部图片进行筛选后，再进行相似度分析处理。其中局部图片筛选的方式由多种，如下：

在一些实施例中，步骤“对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果”，可以包括以下步骤：

(21)确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中的局部图片的第二数量；

(22)若第一数量和第二数量满足第一预设条件，则计算第一局部图片序列中每一局部图片、与第二局部图片序列中每一局部图片之间的相似度；

(23)从第一局部图片序列和所述第二局部图片序列中，确定较长的局部图片序列、以及较短的局部图片序列；

(24)根据相似度由低到高的顺序，从较长的局部图片序列中删除相应数量的局部图片，使得较长的局部图片序列中剩余的局部图片数量为第二预设值，以得到目标局部图片序列；

(25)对目标局部图片序列和较短的局部图片序列进行全序列图片的相似度分析，得到相似度结果。

具体的，本实施例中m_max可以为第二预设值，则第一条件可以为：第一数量小于第二预设值、第二数量大于第二预设值。

仍以上述n<m为例，即较短的局部图片序列为第一局部图片序列Ao，较长的局部图片序列为第二局部图片序列Bo，则第一条件为：n<m_max，m>m_max。若第一数量和第二数量满足第一预设而条件，此时可通过计算第二局部图片序列Bo中每个元素与第一图片序列Ao中每个元素的相似度，并按照计算得到的相似度由高到低的顺序对第二局部图片序列Bo中的元素进行序列重排序，淘汰掉第二局部图片序列Bo中末尾m_max–m个元素。最后，对第二局部图片序列Bo中的1至m_max个元素(即目标局部图片序列)和第一局部图片序列Ao进行全序列图片的相似度分析，得到相似度结果。

实际应用中，第二预设值可以等于上述第一预设值。

在一些实施例中，步骤“对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果”，可以包括以下步骤：

(31)确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中的局部图片的第二数量；

(32)若所述第一数量和所述第二数量满足第二预设条件，则计算第一局部图片序列中每一局部图片、与第二局部图片序列中每一局部图片之间的相似度；

(33)根据该相似度低到高的顺序，分别从第一局部图片序列、及第二局部图片序列中依次删除局部图片；

(34)当第一局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第一局部图片子序列，以及当第二局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第二局部图片子序列；

(35)对第一局部图片子序列和第二局部图片子序列进行全序列图片的相似度分析，得到相似度结果。

具体的，本实施例中m_max可以为第三预设值，则第一条件可以为：第一数量小于第三预设值、第二数量大于第三预设值。仍以第一局部图片序列Ao、第二局部图片序列Bo、n<m为例，则第二条件可以为：n>m_max，m>m_max。

若第一数量和第二数量满足第二预设条件，此时，可通过计算第二局部图片序列Bo中每个元素与第一图片序列Ao中每个元素的相似度，并按照计算得到的相似度由高到低的顺序对第一局部图片序列Ao和第二局部图片序列Bo中的元素进行序列重排序。然后，分别从重排序的两个序列中的末尾逐个淘汰，当淘汰到第二局部图片序列Bo中元素为m_max或第一局部图片序列Ao元素个数为m_max后，跳过已经达到m_max个元素的列表中的元素。当两个序列均达到m_max后停止淘汰。然后，对第二局部图片序列Bo中剩余的元素与(即第二局部图片子序列)、及第一局部图片序列Ao中剩余的元素(即第一局部图片子序列)进行全序列图片的相似度分析，得到相似度结果。

实际应用中，第三预设值可以等于上述第一预设值、第二预设值。

具体实施过程中，若无法忍受m！次比较的复杂度，可采用贪心算法计算第一局部图片序列Ao和第二局部图片序列Bo的相似度。也即，在一些实施例中，步骤“对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果”，可以包括以下步骤：

(41)确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中的局部图片的第二数量；

(42)计算第一局部图片序列中每一局部图片、与第二局部图片序列中每一局部图片之间的相似度；

(43)从第一数量和第二数量中确定较小值，作为目标数量；

(44)根据相似度由高到低的顺序，分别从第一局部图片序列、及第二局部图片序列中，依次选取目标数量的局部图片进行相似度分析处理，得到相似度结果。

具体的，对第一局部图片序列Ao的每个元素，计算其对第二局部图片序列Bo中每个元素的相似度，然后按贪心算法选择最大的n项相似度(首先选最大的一项，然后去除对应元素后选次大项，以此类推)。

需要说明的是，上述计算相似度时，相似度结果应当平均以将数值控制在0～1之间。

104、基于相似度结果，计算第一图片与第二图片的内容相似度。

在一些实施例中，相似度结果包括：第一局部图片序列中相应局部图片与第二局部图片序列中相应局部图片之间的多个相似度值。

在基于所述相似度结果，计算第一图片与第二图片的内容相似度时，具体可以计算所述多个相似度值的均值，并将计算的到的均值作为第一图片与第二图片的内容相似度。

由于此时比较相似度的对象是一个局部，通常情况下，这个局部图片的尺寸较小，目标集中，背景干扰较弱。此时可以采用基于特征的图片相似度算法进行比较，例如比较成熟的卷积特征图片相似度，STFT特征图片相似度等。显然，同样要将局部相似性的结果放缩到0～1之间。

本实施例提供的图片内容相似度分析方法，从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于相似度结果，计算第一图片与第二图片的内容相似度。本方案可在图片背景复杂的情况下，将相似度算法应用到小区域上，规避了图片相似度算法对大图片复杂背景、多目标场景不鲁棒的问题，提升了图片内容相似度分析结果的准确性。

为便于更好的实施本申请实施例提供的图片内容相似度分析方法，本申请实施例还提供一种基于上述图片内容相似度分析方法的装置(简称处理装置)，应用于客户端。其中名词的含义与上述图片内容相似度分析方法中相同，具体实现细节可以参考方法实施例中的说明。

请参阅图2，图2为本申请实施例提供的图片内容相似度分析装置的结构示意图，其中该处理装置400可以包括第一确定单元401、第二确定单元402、分析单元403及处理单元404，具体可以如下：

第一确定单元401，用于从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；

第二确定单元402，用于从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；

分析单元403，用于对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；

处理单元404，用于基于所述相似度结果，计算第一图片与第二图片的内容相似度。

在一些实施例中，分析单元403具体可以用于：

确定第一局部图片序列中局部图片的第一数量、以及所述第二局部图片序列中局部图片的第二数量；

若第一数量与所述第二数量均不超过第一预设值，则对所述第一局部图片序列与所述第二局部图片序列进行全序列图片的相似度分析，得到相似度结果。

在一些实施例中，分析单元403具体可以用于：

确定所述第一局部图片序列中局部图片的第一数量、以及所述第二局部图片序列中的局部图片的第二数量；

若所述第一数量和所述第二数量满足第一预设条件，则计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；

从所述第一局部图片序列和所述第二局部图片序列中，确定较长的局部图片序列、以及较短的局部图片序列；

根据所述相似度由低到高的顺序，从所述较长的局部图片序列中删除相应数量的局部图片，使得所述较长的局部图片序列中剩余的局部图片数量为第二预设值，以得到目标局部图片序列；

对所述目标局部图片序列和所述较短的局部图片序列进行全序列图片的相似度分析，得到相似度结果。

在一些实施例中，分析单元403具体可以用于：

确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中的局部图片的第二数量；

若所述第一数量和所述第二数量满足第二预设条件，则计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；

根据所述相似度低到高的顺序，分别从所述第一局部图片序列、及所述第二局部图片序列中依次删除局部图片；

当所述第一局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第一局部图片子序列，以及当所述第二局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第二局部图片子序列；

对所述第一局部图片子序列和所述第二局部图片子序列进行全序列图片的相似度分析，得到相似度结果。

在一些实施例中分析单元403具体可以用于：

确定第一局部图片序列中局部图片的第一数量、以及第二局部图片序列中的局部图片的第二数量；

计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；

从所述第一数量和所述第二数量中确定较小值，作为目标数量；

根据所述相似度由高到低的顺序，分别从所述第一局部图片序列、及所述第二局部图片序列中，依次选取所述目标数量的局部图片进行相似度分析处理，得到相似度结果。

在一些实施例中，相似度结果包括：第一局部图片序列中相应局部图片与第二局部图片序列中相应局部图片之间的多个相似度值。处理单元404具体可以用于：

计算所述多个相似度值的均值，作为第一图片与第二图片的内容相似度。

在一些实施例中，所述从第一图片中确定待分析的多个局部区域，得到第一局部图片序列，包括：

根据预训练的目标检测模型从第一图片中识别出实体位置信息；

基于识别出的实体位置信息从第一图片中提取局部图像，得到第一局部图片序列；

所述从第二图片中确定待分析的多个局部区域，得到第二局部图片序列，包括：

根据预训练的目标检测模型从第二图片中识别出实体位置信息；

基于识别出的实体位置信息从第二图片中提取局部图像，得到第二局部图片序列。

本申请实施例提供的图片内容相似度分析装置，从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于相似度结果，计算第一图片与第二图片的内容相似度。本方案可在图片背景复杂的情况下，将相似度算法应用到小区域上，规避了图片相似度算法对大图片复杂背景、多目标场景不鲁棒的问题，提升了图片内容相似度分析结果的准确性。

本申请实施例还提供一种终端，该终端中安装有上述实施例客户端。如图3所示，该终端可以包括射频(RF，Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图3中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。

存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。

输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图3中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。

终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。

WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图3示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器608是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。

终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现各种功能：

从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于相似度结果，计算第一图片与第二图片的内容相似度。

本申请实施例在进行图片内容相似度分析时，可在图片背景复杂的情况下，将相似度算法应用到小区域上，规避了图片相似度算法对大图片复杂背景、多目标场景不鲁棒的问题，提升了图片内容相似度分析结果的准确性。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图片内容相似度分析方法中的步骤。例如，该指令可以执行如下步骤：

从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；对第一局部图片序列与第二局部图片序列进行相似度分析处理，得到相似度结果；基于相似度结果，计算第一图片与第二图片的内容相似度。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种图片内容相似度分析方法中的步骤，因此，可以实现本申请实施例所提供的任一种图片内容相似度分析方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的图片内容相似度分析方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图片内容相似度分析方法，其特征在于，包括：

从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；

从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；

确定所述第一局部图片序列中局部图片的第一数量、以及所述第二局部图片序列中的局部图片的第二数量；

若所述第一数量和所述第二数量满足第一预设条件，则计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；从所述第一局部图片序列和所述第二局部图片序列中，确定较长的局部图片序列、以及较短的局部图片序列；根据所述相似度由低到高的顺序，从所述较长的局部图片序列中删除相应数量的局部图片，使得所述较长的局部图片序列中剩余的局部图片数量为第二预设值，以得到目标局部图片序列；对所述目标局部图片序列和所述较短的局部图片序列进行全序列图片的相似度分析，得到相似度结果；

基于所述相似度结果，计算所述第一图片与所述第二图片的内容相似度。

2.根据权利要求1所述的图片内容相似度分析方法，其特征在于，所述方法还包括：

若所述第一数量与所述第二数量均不超过第一预设值，则对所述第一局部图片序列与所述第二局部图片序列进行全序列图片的相似度分析，得到相似度结果。

3.根据权利要求1所述的图片内容相似度分析方法，其特征在于，所述方法还包括：

若所述第一数量和所述第二数量满足第二预设条件，则计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；

根据所述相似度低到高的顺序，分别从所述第一局部图片序列、及所述第二局部图片序列中依次删除局部图片；

当所述第一局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第一局部图片子序列，以及当所述第二局部图片序列中剩余的局部图片数量为第三预设值时，将剩余局部图片作为第二局部图片子序列；

对所述第一局部图片子序列和所述第二局部图片子序列进行全序列图片的相似度分析，得到相似度结果。

4.根据权利要求1-3任一项所述的图片内容相似度分析方法，其特征在于，所述相似度结果包括：第一局部图片序列中相应局部图片与第二局部图片序列中相应局部图片之间的多个相似度值；

所述基于所述相似度结果，计算第一图片与第二图片的内容相似度，包括：

计算所述多个相似度值的均值，作为第一图片与第二图片的内容相似度。

5.根据权利要求1-3任一项所述的图片内容相似度分析方法，其特征在于，所述从第一图片中确定待分析的多个局部区域，得到第一局部图片序列，包括：

根据预训练的目标检测模型从第一图片中识别出实体位置信息；

基于识别出的实体位置信息从第一图片中提取局部图像，得到第一局部图片序列；

所述从第二图片中确定待分析的多个局部区域，得到第二局部图片序列，包括：

根据预训练的目标检测模型从第二图片中识别出实体位置信息；

基于识别出的实体位置信息从第二图片中提取局部图像，得到第二局部图片序列。

6.一种图片内容相似度分析装置，其特征在于，包括：

第一确定单元，用于从第一图片中确定待分析的多个局部区域，得到第一局部图片序列；

第二确定单元，用于从第二图片中确定待分析的多个局部区域，得到第二局部图片序列；

分析单元，用于确定所述第一局部图片序列中局部图片的第一数量、以及所述第二局部图片序列中的局部图片的第二数量；若所述第一数量和所述第二数量满足第一预设条件，则计算所述第一局部图片序列中每一局部图片、与所述第二局部图片序列中每一局部图片之间的相似度；从所述第一局部图片序列和所述第二局部图片序列中，确定较长的局部图片序列、以及较短的局部图片序列；根据所述相似度由低到高的顺序，从所述较长的局部图片序列中删除相应数量的局部图片，使得所述较长的局部图片序列中剩余的局部图片数量为第二预设值，以得到目标局部图片序列；对所述目标局部图片序列和所述较短的局部图片序列进行全序列图片的相似度分析，得到相似度结果；

处理单元，用于基于所述相似度结果，计算第一图片与第二图片的内容相似度。

7.根据权利要求6所述的图片内容相似度分析装置，其特征在于，所述相似度结果包括：第一局部图片序列中相应局部图片与第二局部图片序列中相应局部图片之间的多个相似度值；

所述处理单元，用于计算所述多个相似度值的均值，作为第一图片与第二图片的内容相似度。

8.根据权利要求6所述的图片内容相似度分析装置，其特征在于，所述第一确定单元，用于根据预训练的目标检测模型从第一图片中识别实体位置信息；基于识别出的实体位置信息从第一图片中提取局部图像，得到第一局部图片序列；

所述第一确定单元，用于根据预训练的目标检测模型从第二图片中识别实体位置信息；基于识别出的实体位置信息从第二图片中提取局部图像，得到第二局部图片序列。

9.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至5中任一项所述的图片内容相似度分析方法中的步骤。

Images