CN116188805B - 海量图像的图像内容分析方法、装置和图像信息网络 - Google Patents

Abstract

本申请提供一种海量图像的图像内容分析方法、装置和图像信息网络，涉及图像处理领域，图像处理方法包括，对获取到的待处理图像进行归一化处理，得到归一化图像；计算归一化图像的图像特征，根据图像特征对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像；将有效图像作为目标节点，构建图像信息网络，目标节点为根节点或子节点。本申请可以通过海量图像的图像特征在图像信息空间中构造图像信息网络，图像信息网络中的图像具有基于图像相似性的关联关系，当使用图像信息网络进行图像相似性分析时，先找与图像相似的根节点再找与图像相似的子节点，可快速得到分析结果，提高图像分析效率。

Description

海量图像的图像内容分析方法、装置和图像信息网络

技术领域

本发明涉及图像处理领域，特别是涉及一种海量图像的图像内容分析方法、装置和图像信息网络。

背景技术

目前对于海量图像的筛选和分析，大多采用图像的图像颜色直方图特征或者图像的二维离散余弦变换得到图像指纹，根据图像指纹进行海量图像的内容分析和不同图像之间的内容关联分析，但是上述方式对样本库的依赖性较高，需要根据大量的样本图像进行模型训练，训练成本高，训练时间长且抗噪能力差，导致图像内容对比精度和对比效率都不高。

发明内容

有鉴于此，本申请的目的在于提出一种海量图像的图像内容分析方法、装置和图像信息网络，本申请能够针对性的解决现有在海量图像的内容关联分析方面效率不高的问题。

基于上述目的，第一方面，本申请提出了一种海量图像的图像内容分析方法，所述方法包括：获取待处理图像，对所述待处理图像进行归一化处理，得到归一化图像；计算所述归一化图像的图像特征；根据所述图像特征对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像；将所述有效图像作为目标节点，在图像信息空间中构建图像信息网络，所述图像信息空间是指图像特征向量所在的多维向量空间，所述图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值，所述目标节点为根节点或子节点。

可选地，图像特征包括所述归一化图像的图像特征矩阵，根据所述特征矩阵的模对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像，包括：根据所述图像特征矩阵计算所述图像特征矩阵的模，在所述图像特征矩阵的模大于第一阈值且小于第二阈值的情况下，确定所述归一化图像满足第一预设条件，将所述归一化图像作为有效图像，所述第一阈值小于所述第二阈值。

可选地，待处理图像为第一图像，所述有效图像为根据所述第一图像得到的第一有效图像，将所述有效图像作为目标节点，构建图像信息网络，包括：将所述第一有效图像作为图像信息网络的第一根节点，构建所述图像信息网络。

可选地，待处理图像为第二图像，所述有效图像为根据所述第二图像得到的第二有效图像，在将所述第一有效图像作为图像信息网络的第一根节点，构建所述图像信息网络之后，所述方法进一步包括：判断所述第二有效图像是否与所述第一有效图像相似，若是，则确定所述第二有效图像为所述第一根节点的子节点；若否，则确定所述第二有效图像为第二根节点；将所述第一根节点的子节点或者所述第二根节点添加至所述图像信息网络。

可选地，所述判断所述第二有效图像是否与所述第一有效图像相似，包括：判断所述第二有效图像的图像特征矩阵和所述第一有效图像的图像特征矩阵的图像特征差异率是否满足第四预设条件，若否，则确定所述第二有效图像和所述第一有效图像不相似；若是，则确定所述第二有效图像与所述第一有效图像相似。

可选地，所述待处理图像为第三图像，所述有效图像为根据所述第三图像得到的第三有效图像，所述方法进一步包括：遍历所述图像信息网络的节点，得到所有根节点，以及所述所有根节点对应的根节点图像；判断所述第三有效图像是否与至少一个所述根节点图像相似，若是，则确定所述第三有效图像为所述根节点的新子节点；若否，则确定所述第三有效图像为新根节点；将所述新根节点添加至所述图像信息网络的根节点集合中，或者，将所述新子节点添加至与所述所述图像信息网络的子节点集合中。

可选地，所述图像特征包括图像特征向量和所述图像特征向量的模，判断所述第三有效图像是否与至少一个所述根节点图像相似，包括：判断所述第三有效图像的图像特征向量的模和所述根节点图像的图像特征向量的模是否满足第二预设条件，若否，则确定所述第三有效图像和所述根节点图像不相似；若是，则判断所述第三有效图像的图像特征向量和所述根节点图像的图像特征向量的向量差异率是否满足第三预设条件，若否，则确定所述第三有效图像和所述根节点图像不相似；若是，则判断所述第三有效图像的图像特征矩阵和所述根节点图像的图像特征矩阵的图像特征差异率是否满足第四预设条件，若否，则确定所述第三有效图像和所述根节点图像不相似；若是，则确定所述第三有效图像与所述根节点图像相似。

第二方面，还提供了一种海量图像的图像内容分析装置，所述装置包括：图像预处理模块，用于获取待处理图像，对所述待处理图像进行归一化处理，得到归一化化图像；特征计算模块，用于计算所述归一化图像的图像特征；验证模块，用于根据所述图像特征对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像；构建模块，用于将所述有效图像作为目标节点，在图像信息空间中构建图像信息网络，所述图像信息空间是指图像特征向量所在的多维向量空间，所述图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值，所述目标节点为根节点或子节点。

第三方面，还提供了一种图像信息网络，所述图像信息网络基于第一方面所述的海量图像的图像内容分析方法构建；所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值。

第四方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现第一方面所述的方法。

第五方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现第一方面任一项所述的方法。

总的来说，本申请至少存在以下有益效果：

通过对海量图像进行归一化处理，得到归一化图像，使得每一图像都能在统一坐标系下进行计算，再通过计算归一化图像的图像特征，对海量图像的图像内容进行分析，对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像，以保证图像信息空间中的图像都是有效图像，再将有效图像作为目标节点，在图像信息空间中构建图像信息网络，构建完成的图像信息网络中包括根节点集合和子节点集合，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，进而使得构建的图像信息网络中，根节点与根节点之间的图像互不相似，根节点与其自身的子节点之间的图像相似，因此图像信息网络中的图像具有基于图像相似性的关联关系，如此，当根据海量图像进行图像内容分析后，可得到包括海量图像的图像信息网络，当使用该图像信息网络进行目标图像的相似性对比时，可将目标图像与图像信息网络的根节点进行相似性对比，若目标图像与根节点相似，再将目标图像与相似根节点的所有子节点进行相似行对比，即可快速得到图像信息网络中与目标图像相似的所有图像，快速得到分析结果，提高图像分析效率。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出本发明实施例的一种可选的海量图像的图像内容分析方法的应用环境的示意图；

图2示出本发明实施例的另一种可选的海量图像的图像内容分析方法的应用环境的示意图；

图3示出本发明实施例海量图像的图像内容分析方法的步骤流程图；

图4示出本发明实施例一种邻域和/>的示意图；

图5示出本发明实施例的图像信息空间的结构示意图；

图6示出本发明实施例的一种树形结构的创建过程；

图7示出本发明实施例的一种判断第三有效图像是否与根节点图像相似的步骤流程图；

图8示出在一个例子中海量图像的图像内容分析方法的整体步骤示意图；

图9示出了本发明一个示例性实施例提供的海量图像的图像内容分析装置的结构示意图；

图10示出图像信息网络的结构示意图；

图11示出根据本申请实施例的电子设备的示意图。

附图标记：终端设备102、网络104、服务器106、用户108、人机交互屏幕1022，第一处理器1024、第一存储器1026、数据库1062、处理引擎1064；用户设备204、第二存储器206、第二处理器208；海量图像的图像内容分析装置900、图像预处理模块901、特征计算模块902、验证模块903、构建模块904；电子设备800、第三存储器801、第三处理器802、传输装置803、显示器804、连接总线805。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明实施例的一个方面，提供了一种海量图像的图像内容分析方法，作为一种可选地实施方式，上述海量图像的图像内容分析方法可以但不限于应用于如图1所示的应用环境中。该应用环境中包括：与用户进行人机交互的终端设备102、网络104、服务器106。用户108与终端设备102之间可以进行人机交互，终端设备102中运行有海量图像的图像内容分析应用程序。上述终端设备102中包括人机交互屏幕1022，第一处理器1024及第一存储器1026。人机交互屏幕1022用于显示图像；第一处理器1024用于获取待处理图像，以及根据待处理图像构建图像信息网络。第一存储器1026用于存储构建完成的图像信息网络。

此外，服务器106中包括数据库1062及处理引擎1064，数据库1062中用于存储上述图像信息网络。处理引擎1064用于：对待处理图像进行归一化处理，得到归一化图像；计算归一化图像的图像特征，图像特征包括图像特征矩阵以及图像特征矩阵的模；根据特征矩阵的模对归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像；将有效图像作为目标节点，在图像信息空间中构建图像信息网络。

在一个或多个实施例中，本申请上述海量图像的图像内容分析方法可以应用于图2所示的应用环境中。如图2所示，用户108与用户设备204之间可以进行人机交互。用户设备204中包含有第二存储器206和第二处理器208。本实施例中用户设备204可以但不限于参考执行上述终端设备102所执行的操作，构建图像信息网络。

可选地，上述终端设备102和用户设备204包括但不限于为手机、平板电脑、笔记本电脑、PC机，车载电子设备，可穿戴设备等终端，上述网络104可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器106可以包括但不限于任何可以进行计算的硬件设备。上述服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群，或者是云服务器。上述仅是一种示例，本实施例中对此不作任何限定。

相关技术中对海量图像的筛选和分析，多采用图像的图像颜色直方图特征或者图像的二维离散余弦变换得到图像指纹，根据图像指纹进行海量图像的内容检测和不同图像之间的内容关联分析，上述方式对样本库的依赖性较高，需要根据大量的样本图像进行模型训练，训练成本高，训练时间长且抗噪能力差，导致图像内容对比精度和对比效率都不高。

为了解决上述技术问题，作为一种可选地实施方式，本发明实施例提供了一种海量图像的图像内容分析方法。

图3示出根据本申请实施例的海量图像的图像内容分析方法的步骤流程图。如图3所示，该海量图像的图像内容分析方法包括如下步骤S301~S304：

S301、获取待处理图像，对待处理图像进行归一化处理，得到归一化图像。

本实施例中，待处理图像可以是来源于一个或多个资源库的图像，可以是用户指定的图像，可以是来自互联网的图像，也可以是一个视频片段中的一帧或多帧图像。

本实施例中，对待处理图像进行归一化处理包括但不限于对待处理图像进行幅形比、分辨率和色彩空间的归一化，进而使得每一个待处理图像都具有相同的图像维度，进而便于在同一坐标系下对海量图像的内容进行分析，也便于根据图像的像素进行不同图像内容之间的相似性分析，加快图像内容的分析速率。

S302、计算归一化图像的图像特征。

本实施例中，图像特征包括但不仅限于由UniformLBP 特征组成的图像特征，LBP(Local Binary Pattern,局部二值模式)是一种理论简单，计算量小的局部特征描述算子，UniformLBP指LBP的均匀模式或等价模式。UniformLBP 特征对于图像纹理变化具有很好的敏感性，因此，本实施例采用图像的UniformLBP 特征作为图像特征，可以更好的反映图像的内容特征。

在一个可选的例子中，图像特征也可以是其它图像特征，例如直方图特征、sift特征（sift，Scale-invariant feature transform，尺度不变特征变换）、hog特征（hog，Histogram of Oriented Gradient，方向梯度直方图）和haar（哈尔）特征等，在此不一一列举。

以图像特征为UniformLBP 特征为例，本实施例中，图像特征包括图像特征矩阵以及图像特征矩阵的模，计算归一化图像的图像特征矩阵可以通过归一化图像的低八位特征数据和高八位特征数据，得到十六位特征数据，根据十六位特征数据得到特征矩阵，得到图像特征矩阵。

图4示出一种邻域和/>的示意图，具体地，如图4所示，对归一化图像像素提取3×3邻域特征作为低八位特征（/>，距离为1，特征点数为8），提取5×5邻域特征作为高八位特征（/>，距离为2，特征点数为8）。根据公式1可以获取/>和/>的特征数据，从而得到该像素点的十六位特征数据（/>），对YUV分量中所有像素计算/>特征得到YUV三个分量的/>特征矩阵。其中，YUV三个分量中：Y表示明亮度，U表示色度， V表示浓度。本实施例中，公式1为：

(公式1)

其中，c为中心像素，i为邻域内的特征点，pixel为像素值。

可以理解的是，在根据像素的特征矩阵得到图像的特征矩阵时，需要适应图像的局部变形和旋转，因此，本实施例在得到YUV三个分量的特征矩阵之后，在YUV三个分量的/>特征的基础上进行旋转计算，得到图像Uniform/>特征，作为图像特征矩阵。

本实施例中，图像特征矩阵的模是通过对图像特征矩阵进行模值计算得到，具体的，图像特征矩阵的模值计算公式为：

其中，i为YUV分量，wi和hi分别为分量下的宽和高，为像素点的横纵坐标，m和n均为非负整数，/>为/>像素坐标点在v维度下的特征值，/>为特征维度，。

S303、根据图像特征对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像。

可以理解的是，来自不同数据库的海量图像中可能存在图像特征不足或花帧的图像，为了提高对比效率，本实施例根据归一化图像的图像特征对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像，有效图像的图像特征数量充足且有效图像不是花帧或白噪声。若不满足第一预设条件，则说明当前图像无效，对于无效图像，可不进行图像内容的分析处理。

具体地，本实施例通过归一化图像的特征矩阵的模对归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像，包括：根据图像特征矩阵计算图像特征矩阵的模，在图像特征矩阵的模大于第一阈值且小于第二阈值的情况下，确定归一化图像满足第一预设条件，将归一化图像作为有效图像，第一阈值小于第二阈值。

本实施例中，图像特征矩阵的模可根据上述公式2计算得到，第一预设条件可以表示为：

其中，为第一阈值，/>为第二阈值，/>为当前归一化图像，/>为当前归一化图像的图像特征矩阵的模。

若归一化图像的图像特征矩阵的模不满足第一预设条件，在图像特征矩阵的模小于等于第一阈值的情况下，表示当前图像的特征过少，在图像的特征矩阵的模大于等于第二阈值/>的情况下，表示当前图像的特征过多，可能为花帧图像，因此确定该图像无效。

S304、将有效图像作为目标节点，在图像信息空间中构建图像信息网络。

由上述步骤S303可知，有效图像的图像特征数量充足，则表明有效图像的内容充分，可作为图像信息网络的节点，因此，本实施例将有效图像作为目标节点，进而构建图像信息网络，这样构建完成的图像信息网络中的每一图像都是内容清晰的图像。其中，图像信息网络是基于图像信息空间以多级树集合为基础构造的森林结构，多级树包括根节点和子节点，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，也就是说，任意两个根节点对应的图像不相似，每个根节点的子节点对应的图像与该根节点自身对应的图像是相似的。

本实施例中，有效图像可能是图像信息网络的根节点，也可能是图像信息网络的子节点，即目标节点为根节点或子节点。

下面对本实施例的图像信息空间和图像信息网络进行说明：

本实施例中，图像信息空间是指图像特征向量所在的多维向量空间，图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到。

例如，根据公式1对图像进行特征矩阵的计算，得到图像/>的特征矩阵/>，其中每个特征值为16位整数的Uniform/>特征，由于Uniform Pattern LBP特征有多种不同的二进制形式，对于半径为R的矩形区域内含有P个采样点的LBP算子将会产生/>种模式，为了提高统计性，在对特征做Uniform Pattern 转换时，采用等价模式对LBP算子的模式种类进行降维，当某个LBP所对应的循环二进制数从0到1或从1到0最多有两次跳变时，该LBP所对应的二进制就称为一个等价模式类。如00000000(0次跳变)，00000111(只含一次从0到1的跳变)，10001111(先由1跳到0，再由0跳到1，共两次跳变)都是等价模式类。如此，二进制模式的种类大大减少，而不会丢失任何信息。例如，对于3×3邻域内8个采样点来说，二进制模式由原始的256种减少为58种，即：把值分为59类，58个uniform pattern为一类，其它的所有值为第59类。这样直方图从原来的256维变成59维。因此，在对/>做UniformPattern 转换后，/>和/>的维度由256降低为59，因此Uniform/>的维度为3481，k维对应值为V/>。

本实施例中，图像特征向量FV表示为：

其中，FV的维度为3481，表示向量/>中k维的分量值，/>的计算公式如下所示：

其中，w和h为分量下图像的宽和高，为图像的特征矩阵/>在/>点处的特征值，/>为向量k维度的值，/>用来判断/>的特征值是否为。

为了确保所有的图像内容在相同维度的信息空间中，即坐标系相同，本实施例将图像特征向量所在的多维向量空间作为图像信息空间。

在图像信息空间中，每幅图像都有它的坐标，通过坐标可以计算图像间的距离，相同的图像具有相同的坐标，相似图像距离小，不同的图像距离大。通过计算图像的距离我们可以将图像信息空间分为多个区域，每个区域中心位置的图像内容代表整个区域的主要内容，图像信息空间中每一圆形区域的关系包括相离、相切和相交三种关系，相离即区域之间没有共同区域，相切即区域之间有且仅有一个公共点，该点为切点，相交即区域之间有公共区域。

这样可以得到如图5所示的图像信息空间，如图5所示，图5中A、B、C、D四个点为各自圆形区域的中心位置，圆的半径代表图像信息空间中到圆心的最大距离，A、B、C、D的图像内容代表各圆形区域的主要内容。c1、c2为与图像C内容相似的图像，b1、b2为与图像B内容相似的图像，d1、d2、d3为与图像D内容相似的图像，且c1、c2、b1、b2、d1、d2、d3与各自所在区域圆心的距离不大于半径。

基于图5所示的图像信息空间，可以通过选择中心点和指定半径来划分区域，从而将整个图像信息空间区域化，进而可以根据这种区域化特性建立一种树结构来记录区域间的关系，即上述的多级树集合。

图6示出一种树形结构的创建过程，可根据图像信息空间中各区域之间的关系将树结构分为两级，第一级为根节点对应各空间区域的圆心，第二级为子节点对应各空间区域中的非圆心点。若对空间区域再划分多层子区域，树结构也会产生相应的多级子节点，树结构的级数与信息空间的空间区域层数相对应，本实施例中以2级树结构为例进行描述。

如图6所示，可根据图像信息空间得到多个多级树结构，多级树包括根节点和子节点，以多个多级树结构组成的多级树集合为基础构造的森林结构为图像信息网络，图像信息网络中的每个子节点至少属于1个根节点，根节点下可以没有子节点。

基于上述图像信息空间以及图像信息网络可知，本实施例的图像信息网络是基于图像而构建的，因此，在根据归一化图像的像素内容进行分析得到图像特征，确定归一化图像为有效图像之后，将有效图像作为目标节点，在图像信息空间中构建图像信息网络。由于子节点的图像是与根节点相似的图像，而根节点对应的图像各不相似，因此图像信息网络中的图像具有基于图像相似性的关联关系，如此，当根据海量图像进行图像内容分析后，可得到包括海量图像的图像信息网络，图像信息网络中根节点图像具有其子节点图像的大部分图像特征，当使用该图像信息网络进行目标图像的相似性对比时，可将目标图像与图像信息网络的根节点进行相似性对比，若目标图像与根节点相似，再将目标图像与相似根节点的所有子节点进行相似行对比，即可快速得到图像信息网络中与目标图像相似的所有图像，本实施例对于海量图像的对比具有很高的对比分析效率，且在图像特征采用图像的UniformLBP 特征的情况下，本实施例可提高图像内容的对比精度。

具体地，在首次构建图像信息网络时，由于图像信息网络中还没有图像，因此可将第一个有效图像作为图像信息网络的第一根节点，构建图像信息网络。

因此，本实施例中，在待处理图像为第一图像的情况下，第一图像为首次构建图像信息网络的图像，有效图像为根据第一图像得到的第一有效图像，将有效图像作为目标节点，构建图像信息网络，包括：将第一有效图像作为图像信息网络的第一根节点，构建图像信息网络。

进一步地，当图像信息网络中存在一个根节点时，根据第二有效图像构建图像信息网络时，第二有效图像可能是与第一有效图像相似的图像，也可能是与第一有效图像不相似的图像，即与第二有效图像对应的节点可能是根节点也可能是子节点。

因此，在待处理图像为第二图像的情况下，第二图像为在第一图像之后加入图像信息网络的图像，有效图像为根据第二图像得到的第二有效图像，在将第一有效图像作为图像信息网络的第一根节点，构建图像信息网络之后，本实施例的方法进一步包括：判断第二有效图像是否与第一有效图像相似，若是，则确定第二有效图像为第一根节点的子节点；若否，则确定第二有效图像为第二根节点；将第一根节点的子节点或者第二根节点添加至图像信息网络。

本实施例在第二有效图像与第一有效图像相似的情况下，将第二有效图像作为第一有效图像的子节点，在第二有效图像与第一有效图像不相似的情况下，将第二有效图像作为与第一有效图像不同的单独的根节点，如此，可以使得构建的图像信息网络中，根节点与根节点之间的图像互不相似，根节点与其自身的子节点之间的图像相似，也就是，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，进而当使用图像信息网络进行图像对比时，将图像与根节点对比，可快速得到对比结果，提高图像对比效率。

本实施例中，判断第二有效图像是否与第一有效图像相似，包括：判断第二有效图像的图像特征矩阵和第一有效图像的图像特征矩阵的图像特征差异率是否满足第四预设条件，若否，则确定第二有效图像和第一有效图像不相似；若是，则确定第二有效图像与第一有效图像相似。具体的判断方法与下述图7的步骤S703同理，具体的如何判断两图像的图像特征矩阵的图像特征差异率是否满足第四预设条件，将在下述步骤S703中进行描述。

根据第二有效图像构建图像信息网络时，由于此时图像网络中只有第一根节点，所以直接根据第二有效图像的图像特征矩阵和第一有效图像的图像特征矩阵的差异率即可直接精确的判断第二有效图像与第一有效图像相似。

延续上述实施例，当待处理图像为第三图像时，有效图像为根据第三图像得到的第三有效图像，本实施例方法进一步包括：遍历图像信息网络的节点，得到所有根节点，以及所有根节点对应的根节点图像；判断第三有效图像是否与至少一个根节点图像相似，若是，则确定第三有效图像为根节点的新子节点；若否，则确定第三有效图像为新根节点；将新根节点添加至图像信息网络的根节点集合中，或者，将新子节点添加至与所述图像信息网络的子节点集合中。

由上述实施例可知，当根据第二图像构建图像信息网络之后，得到的图像信息网络中，可能有一个根节点和一个子节点，也可能是两个根节点，因此，在通过第三图像构建图像信息网络时，需要遍历图像信息网络的节点，将第三图像与所有根节点对应的根节点图像进行比对，例如，遍历图像信息网络中的根节点后，确定根节点图像为A，第三有效图像与A相似，则将第三有效图像作为图像A的子节点，若第三有效图像与A不相似，则将第三有效图像作为新的根节点B。

本实施例中，当第三图像为第N图像时，N为大于3的整数，通过第N图像构建图像信息网络的步骤与待处理图像为第三图像时类似，包括：遍历图像信息网络的节点，得到所有根节点，以及所有根节点对应的根节点图像；判断第N有效图像是否与至少一个根节点图像相似，若是，则确定第N有效图像为根节点的新子节点；若否，则确定第N有效图像为新根节点；将新根节点或新子节点添加至图像信息网络。

本实施例中，图像特征还包括图像特征向量和图像特征向量的模，图像特征向量可根据上述公式3得到，图像特征向量的模计算公式为：

其中，为图像特征向量/>的模，/>表示向量/>中k维的分量值。

图7示出一种判断第三有效图像是否与至少一个根节点图像相似的步骤流程图，参考图7，包括如下步骤S701~S703：

S701、判断第三有效图像的图像特征向量的模和根节点图像的图像特征向量的模是否满足第二预设条件。

本实施例中，第二预设条件为：

其中，为根节点图像，/>为第三有效图像，/>为根节点图像的图像特征向量，第三有效图像的图像特征向量，/>为根节点图像的图像特征向量的模，为第三有效图像的图像特征向量的模，/>为预设阈值；/>作为分母不为零，如果/>同时为0，则/>。

若第三有效图像的图像特征向量的模和根节点图像的图像特征向量的模不满足第二预设条件，则表明第三有效图像和根节点图像在图像信息网络中的图像距离大，确定第三有效图像和根节点不相似。

若第三有效图像的图像特征向量的模和根节点图像的图像特征向量的模满足第二预设条件，则表明第三有效图像和根节点图像在图像信息网络中的图像距离小，可以逐步排除与第三有效图像不相似的根节点图像，但此时不能直接确定第三有效图像和根节点图像相似，需要进一步进行精确判断，则执行步骤S702。

S702、判断第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异率是否满足第三预设条件。

本实施例中，图像特征向量的向量差异值计算公式为：

其中，为第三有效图像和根节点图像的图像特征向量的向量差异值，表示第三有效图像的图像特征向量/>中k维的分量值，/>表示根节点图像的图像特征向量/>中k维的分量值。

图像特征向量的向量差异率计算公式为：

其中，为第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异率，/>第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异值，/>为第三有效图像的图像特征向量的模/>与根节点图像的图像特征向量的模/>的最小值，/>作为分母不为零，如果同时为0，则/>。

第三预设条件为：，/>为预设向量差异率阈值，若第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异率不满足上述第三预设条件，则确定第三有效图像和根节点图像不相似，若第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异率满足上述第三预设条件，则表明第三有效图像和根节点图像的图像特征向量的差异率较小，二者可能相似，然而为了得到更精确的判断结果，本实施例在第三有效图像的图像特征向量和根节点图像的图像特征向量的向量差异率满足上述第三预设条件的情况下，还通过图像特征差异率来判断两图像是否相似，即执行步骤S703。

S703、判断第三有效图像的图像特征矩阵和根节点图像的图像特征矩阵的图像特征差异率是否满足第四预设条件。

本实施例中，第三有效图像的图像特征矩阵和根节点图像的图像特征矩阵的差异值计算公式为：

其中，为第三有效图像和根节点图像在YUV分量下对应的特征差异值，/>代表第三有效图像，/>代表根节点图像，/>为第三有效图像和根节点图像中的坐标点的像素点在YUV分量下对应的特征差异值，i为YUV分量，wi和hi分别为分量下的宽和高，/>为像素点的横纵坐标，m和n均为非负整数，/>为/>像素坐标点在v维度下的特征值，/>。

本实施例中，第三有效图像的图像特征矩阵和根节点图像的图像特征矩阵的图像特征差异率计算公式为：

其中，作为分母不能为0，当/>与/>均为0时/>。

本实施例中，第四预设条件为：

其中，为固有误差，/>为计算误差的预设阈值，/>为预设图像特征差异率阈值。

在第三有效图像的图像特征矩阵和根节点图像的图像特征矩阵的图像特征差异率满足上述第四预设条件的情况下，则说明第三有效图像和根节点图像的图像特征向量的模、图像特征向量的向量差异率、图像特征矩阵的差异率均满足图像相似的条件，则确定第三有效图像与根节点图像相似。若第三有效图像的图像特征矩阵和根节点图像的图像特征矩阵的图像特征差异率不满足上述第四预设条件，则确定第三有效图像与根节点图像不相似。

需要说明的是，根据两图像的图像特征差异率进行相似度判断，可以精确的判断两图像是否相似，但是对于海量的图像，若对每两个图像都进行特征矩阵的差异率计算，会导致计算量巨大，因此，本实施例首先通过两图像的图像特征向量的模是否满足第二预设条件，以及图像特征向量的向量差异率是否满足第三预设条件进行初步筛选，可以确切的判断两图像不相似，再根据两图像的图像特征差异率进行精确判断，在提高计算速率的同时具有较高的检测精度。

可以理解的是，在图像特征根据直方图特征、sift特征、hog特征和haar特征等其他图像特征得到时，本实施例中判断两图像是否相似的方法也可以是根据其他特征的限定条件得到，且本实施例中对于第二预设条件、第三预设条件的限定顺序也仅仅是示例性的。

图8示出在一个例子中海量图像的图像内容分析方法的整体步骤示意图。如图8所示，对获取到的图像进行图像预处理，得到归一化图像，在计算图像特征，对图像特征数量进行有效性检验，即根据特征矩阵的模对归一化图像进行有效性验证，若特征数量有效，则遍历查找图像信息网络中的相似根节点，若不存在相似根节点，则添加前图像（当前图像）为根节点，形成根节点集合，若存在相似根节点，则添加前图像（当前图像）为子节点，形成子节点集合。具体的计算步骤在上述步骤S301~S304中均有描述，为了避免重复，在此不再赘述。

本申请通过对海量图像进行归一化处理，得到归一化图像，使得每一图像都能在统一坐标系下进行计算，再通过计算归一化图像的图像特征，对海量图像的图像内容进行分析，提取特征矩阵，根据归一化图像的特征矩阵的模对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像，以保证图像信息空间中的图像都是有效图像，再将有效图像作为目标节点，在图像信息空间中构建图像信息网络，构建完成的图像信息网络中包括根节点集合和子节点集合，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，进而使得构建的图像信息网络中，根节点与根节点之间的图像互不相似，根节点与其自身的子节点之间的图像相似，因此图像信息网络中的图像具有基于图像相似性的关联关系，如此，当根据海量图像进行图像内容分析后，可得到包括海量图像的图像信息网络，图像信息网络中根节点图像具有其子节点图像的大部分图像特征，当使用该图像信息网络进行目标图像的相似性对比时，可将目标图像与图像信息网络的根节点进行相似性对比，若目标图像与根节点相似，再将目标图像与相似根节点的所有子节点进行相似行对比，即可快速得到图像信息网络中与目标图像相似的所有图像，快速得到分析结果，提高图像分析效率。

下述为本发明海量图像的图像内容分析装置实施例，可以用于执行本发明方法实施例。对于本发明海量图像的图像内容分析装置实施例中未披露的细节，请参照本发明方法实施例。

图9示出了本发明一个示例性实施例提供的海量图像的图像内容分析装置的结构示意图。该海量图像的图像内容分析装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。该海量图像的图像内容分析装置900包括：

图像预处理模块901，用于获取待处理图像，对待处理图像进行归一化处理，得到归一化图像。

特征计算模块902，用于计算归一化图像的图像特征。

验证模块903，用于根据图像特征对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像。

构建模块904，用于将有效图像作为目标节点，在图像信息空间中构建图像信息网络。本实施例中，图像信息空间是指图像特征向量所在的多维向量空间，图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，图像信息网络是基于图像信息空间以多级树集合为基础构造的森林结构，多级树包括根节点和子节点，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，上述目标节点为根节点或子节点。

需要说明的是，上述实施例提供的海量图像的图像内容分析装置在执行海量图像的图像内容分析方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的海量图像的图像内容分析装置与海量图像的图像内容分析生成方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

本实施例提供一种图像信息网络，该图像信息网络基于上述海量图像的图像内容分析方法方法构建，图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，多级树包括根节点和子节点，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值。

图10示出图像信息网络的结构示意图，图像信息网络包括根节点集合和子节点集合，根节点集合包括至少一个根节点，子节点集合中可以为空，其中，根节点与根节点之间相互独立，一个根节点可以有多个子节点也可以没有子节点，一个子节点也可以属于多个根节点。

本申请通过对海量图像进行归一化处理，得到归一化图像，使得每一图像都能在统一坐标系下进行计算，再通过计算归一化图像的图像特征，对海量图像的图像内容进行分析，提取特征矩阵，根据归一化图像的特征矩阵的模对归一化图像进行有效性验证，将满足第一预设条件的归一化图像作为有效图像，以保证图像信息空间中的图像都是有效图像，再将有效图像作为目标节点，在图像信息空间中构建图像信息网络，构建完成的图像信息网络中包括根节点集合和子节点集合，任意两个根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于预设阈值，进而使得构建的图像信息网络中，根节点与根节点之间的图像互不相似，根节点与其自身的子节点之间的图像相似，因此图像信息网络中的图像具有基于图像相似性的关联关系，如此，当根据海量图像进行图像内容分析后，可得到包括海量图像的图像信息网络，图像信息网络中根节点图像具有其子节点图像的大部分图像特征，当使用该图像信息网络进行目标图像的相似性对比时，可将目标图像与图像信息网络的根节点进行相似性对比，若目标图像与根节点相似，再将目标图像与相似根节点的所有子节点进行相似行对比，即可快速得到图像信息网络中与目标图像相似的所有图像，可快速得到分析结果，提高图像分析效率。

本申请实施方式还提供一种与前述实施方式所提供的海量图像的图像内容分析方法对应的电子设备，以执行上述海量图像的图像内容分析方法。

图11示出根据本申请实施例的电子设备的示意图。 如图11所示，所述电子设备800包括：第三存储器801和第三处理器802，第三存储器801中存储有可在所述第三处理器802上运行的计算机程序，所述第三处理器802运行所述计算机程序时执行本申请前述任一实施方式所提供的方法。

可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行上述海量图像的图像内容分析方法的步骤。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子设备也可以是智能手机（如Android手机、iOS手机等）、平板电脑、掌上电脑以及移动互联网设备（Mobile Internet Devices，MID）、PAD等终端设备。图11其并不对上述电子设备的结构造成限定。例如，电子设备还可包括比图11中所示更多或者更少的组件（如网络接口等），或者具有与图11所示不同的配置。

其中，第三存储器801可用于存储软件程序以及模块，如本发明实施例中的海量图像的图像内容分析方法和装置对应的程序指令/模块，第三处理器802通过运行存储在第三存储器801内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的海量图像的图像内容分析方法。第三存储器801可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，第三存储器801可进一步包括相对于第三处理器802远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，第三存储器801具体可以但不限于用于存储图像信息网络。作为一种示例，上述第三存储器801中可以但不限于包括上述海量图像的图像内容分析装置中的图像预处理模块、特征计算模块、验证模块与构建模块。此外，还可以包括但不限于上述海量图像的图像内容分析装置中的其他模块单元，本示例中不再赘述。

可选地，上述电子设备包括传输装置803，传输装置803用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置803包括一个网络适配器（Network Interface Controller，NIC），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置803为射频（Radio Frequency，RF）模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子设备还包括：显示器804，用于显示上述海量图像的图像内容分析的分析结果；和连接总线805，用于连接上述电子设备中的各个模块部件。

本实施例提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述海量图像的图像内容分析方法，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行海量图像的图像内容分析方法各步骤的计算机程序。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（Read-Only Memory，ROM）、随机存取器（Random Access Memory，RAM）、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种海量图像的图像内容分析方法，其特征在于，所述方法包括：

获取待处理图像，对所述待处理图像进行归一化处理，得到归一化图像，所述归一化处理包括对待处理图像进行幅形比、分辨率和色彩空间的归一化；

计算所述归一化图像的图像特征，所述图像特征包括所述归一化图像的LBP 特征；

根据所述图像特征对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像；

将所述有效图像作为目标节点，在图像信息空间中构建图像信息网络，所述图像信息空间是指图像特征向量所在的多维向量空间，所述图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值，所述目标节点为根节点或子节点；

其中，在所述有效图像的图像特征向量的模与根节点图像的图像特征向量的模满足第二预设条件、所述有效图像的图像特征向量与根节点图像的图像特征向量的向量差异率满足第三预设条件的情况下，根据所述有效图像的图像特征矩阵与根节点图像的图像特征矩阵的差异率是否满足第四预设条件判断所述有效图像与所述根节点图像是否相似；

所述第二预设条件为所述有效图像与根节点图像的图像特征向量的模的差值的绝对值与所述有效图像与根节点图像的图像特征向量的模中较小值的比值小于等于预设阈值；所述第三预设条件为所述有效图像的图像特征向量与根节点图像的图像特征向量的向量差异率小于等于预设向量差异率阈值；所述第四预设条件为有效图像的图像特征矩阵与根节点图像的图像特征矩阵的图像特征差异率、固有误差、计算误差的预设阈值的和小于等于预设图像特征差异率阈值。

2.根据权利要求1所述的方法，其特征在于，所述图像特征包括所述归一化图像的图像特征矩阵，根据所述图像特征对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像，包括：

根据所述图像特征矩阵计算所述图像特征矩阵的模，在所述图像特征矩阵的模大于第一阈值且小于第二阈值的情况下，确定所述归一化图像满足第一预设条件，将所述归一化图像作为有效图像，所述第一阈值小于所述第二阈值。

3.根据权利要求1所述的方法，其特征在于，所述待处理图像为第一图像，所述有效图像为根据所述第一图像得到的第一有效图像，将所述有效图像作为目标节点，构建图像信息网络，包括：

将所述第一有效图像作为图像信息网络的第一根节点，构建所述图像信息网络。

4.根据权利要求3所述的方法，其特征在于，所述待处理图像为第二图像，所述有效图像为根据所述第二图像得到的第二有效图像，在将所述第一有效图像作为图像信息网络的第一根节点，构建所述图像信息网络之后，所述方法进一步包括：

判断所述第二有效图像是否与所述第一有效图像相似，若是，则确定所述第二有效图像为所述第一根节点的子节点；若否，则确定所述第二有效图像为第二根节点；

将所述第一根节点的子节点或者所述第二根节点添加至所述图像信息网络。

5.根据权利要求4所述的方法，其特征在于，所述待处理图像为第三图像，所述有效图像为根据所述第三图像得到的第三有效图像，所述方法进一步包括：

遍历所述图像信息网络的节点，得到所有根节点，以及所述所有根节点对应的根节点图像；

判断所述第三有效图像是否与至少一个所述根节点图像相似，若是，则确定所述第三有效图像为所述根节点的新子节点；若否，则确定所述第三有效图像为新根节点；

将所述新根节点添加至所述图像信息网络的根节点集合中，或者，将所述新子节点添加至所述图像信息网络的子节点集合中。

6.一种海量图像的图像内容分析装置，其特征在于，所述装置包括：

图像预处理模块，用于获取待处理图像，对所述待处理图像进行归一化处理，得到归一化图像，所述归一化处理包括对待处理图像进行幅形比、分辨率和色彩空间的归一化；

特征计算模块，用于计算所述归一化图像的图像特征，所述图像特征包括所述归一化图像的LBP 特征；

验证模块，用于根据所述图像特征对所述归一化图像进行有效性验证，将满足第一预设条件的所述归一化图像作为有效图像；

构建模块，用于将所述有效图像作为目标节点，在图像信息空间中构建图像信息网络，所述图像信息空间是指图像特征向量所在的多维向量空间，所述图像特征向量为在相同坐标系下对图像提取特征矩阵后计算得到，所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值，所述目标节点为根节点或子节点；

其中，在所述有效图像的图像特征向量的模与根节点图像的图像特征向量的模满足第二预设条件、所述有效图像的图像特征向量与根节点图像的图像特征向量的向量差异率满足第三预设条件的情况下，根据所述有效图像的图像特征矩阵与根节点图像的图像特征矩阵的差异率是否满足第四预设条件判断所述有效图像与所述根节点图像是否相似；

所述第二预设条件为所述有效图像与根节点图像的图像特征向量的模的差值的绝对值与所述有效图像与根节点图像的图像特征向量的模中较小值的比值小于等于预设阈值；所述第三预设条件为所述有效图像的图像特征向量与根节点图像的图像特征向量的向量差异率小于等于预设向量差异率阈值；所述第四预设条件为有效图像的图像特征矩阵与根节点图像的图像特征矩阵的图像特征差异率、固有误差、计算误差的预设阈值的和小于等于预设图像特征差异率阈值。

7.一种图像信息网络，其特征在于，所述图像信息网络基于权利要求1-5任一项所述的海量图像的图像内容分析方法构建；

所述图像信息网络是基于所述图像信息空间以多级树集合为基础构造的森林结构，所述多级树包括根节点和子节点，任意两个所述根节点对应的图像之间的差异率大于预设阈值，每个根节点的子节点与其根节点对应的图像之间的差异率小于等于所述预设阈值。