CN110033018B - 图形相似度判断方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种图像检测技术领域，揭露了一种图形相似度判断方法，包括：对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。本发明还提出一种图形相似度判断装置及一种计算机可读存储介质。本发明提高了图形相似度的识别效率和准确率，提高了图形的检索效率和可信度。

Description

图形相似度判断方法、装置及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图形相似度判断方法、装置及计算机可读存储介质。

背景技术

在判断图形商标是否侵权时，需要对目标商标对应的图像进行相似度检索。目前的图像检索大多都通过比较图像之间相似度的方法来实现，常用的方法是：基于像素点进行比较和统计图像基本特征进行比较的方法。基于像素点比较的方法是：将目标图像与原图像的所有像素点按先后顺序直接逐个像素进行比较，再通过求欧氏距离得到目标图像与原图像的相似度。这种方法需要将图像中的像素点逐个进行比较，耗时长且算法复杂度高。基于统计图像的基本特征的比较方法是：通过提取原图像与目标图像的基本特征，比如灰度统计特征(灰度直方图)和图像纹理特征(对灰度共生矩阵统计的能量、熵，惯性矩，局部平稳性等)，然后将得到的原图像与目标图像的基本特征值进行比较得到图像间的相似度。这种比较图像相似度的方法是基于统计的特征，反映出来的是图像的全局性，不能很好的反映出图像的局部特征，所以比较结果会存在较大的误差。现有的针对图形商标的侵权判定难度大，人为识别率低。因此，如何简化算法且提高图像相似度判断结果的准确性，是目前急需解决的一大课题。

发明内容

本发明提供一种图形相似度判断方法、装置及计算机可读存储介质，其主要目的在于解决针对商标图形的相似度的判断难度大、人为识别率低的问题。

为实现上述目的，本发明提供一种图形相似度判断方法，该方法包括：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

可选地，所述对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签，包括：

采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；

利用训练后的深度学习模型，提取所述目标图片的图像特征；

利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

可选地，所述采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型，包括：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

可选地，所述对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似，包括：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

可选地，所述对预设图像对比模型进行训练，得到训练后的预设图像对比模型，包括：

提取商标局公开的侵权案例对应的样本图像，对提取的所述样本图像采用数据增强的方式进行图像扩充，将扩充后的样本图像与预设图像集共同作为训练图像集；

利用所述训练图像集和预设图像处理模型所有数据层的固定参数，对所述预设图像对比模型进行训练；

达到预设训练次数时，解锁所述预设图像处理模型中的预设数据层，并将解锁后的所述预设数据层与所述预设图像比对模型进行联合训练，得到训练后的预设图像对比模型。

此外，为实现上述目的，本发明还提供一种图形相似度判断装置，该装置包括存储器和处理器，所述存储器中存储有可在所述处理器上运行的图形相似度判断程序，所述图形相似度判断程序被所述处理器执行时实现如下步骤：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

可选地，所述图形相似度判断程序还可被所述处理器执行，以在所述对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签，包括：

采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；

利用训练后的深度学习模型，提取所述目标图片的图像特征；

利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

可选地，所述图形相似度判断程序还可被所述处理器执行，以在所述采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型，包括：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

可选地，所述图形相似度判断程序还可被所述处理器执行，以在所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似，包括：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有图形相似度判断程序，所述图形相似度判断程序可被一个或者多个处理器执行，以实现如上所述的图形相似度判断方法的步骤。

本发明提出的图形相似度判断方法、装置及计算机可读存储介质，。

附图说明

图1为本发明一实施例提供的图形相似度判断方法的流程示意图；

图2为本发明一实施例提供的图形相似度判断装置的内部结构示意图；

图3为本发明一实施例提供的图形相似度判断装置中图形相似度判断程序的模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种图形相似度判断方法。如图1所示，图1为本发明一实施例提供的图形相似度判断方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现，其主要目的在于解决针对商标图形的相似度的判断难度大、人为识别率低的问题。

在本实施例中，本发明图形相似度判断方法可以实施为如下描述的步骤S10-S30：

步骤S10，对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签。

本发明实施例中，针对需进行相似度比较的目标图片，先对该目标图片进行语义分割，将目标图片分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签，得到该目标图片对应的目标内容标签。比如，针对商标图形进行语义分割后得到的该商标图形对应的：内容主体、该内容主体对应的图像大小以及该内容主体在所述商标图形中所处的位置等。

步骤S20，根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签。

根据得到的上述目标图片对应的目标内容标签，搜索数据库，查找数据库中是否存在与该目标内容标签相同的已知内容标签。

本发明实施例中的数据库为：包含已公开商标对应的已知图像特征的数据库，该数据库中收集了所有已公开商标对应的已知内容标签。通过利用目标内容标签进行数据库中已知内容标签的检索，即可粗略地识别出在该数据库中是否存在与该目标内容标签完全相同的已知内容标签；或者，在该已公开商标图形对应的数据库中，识别出是否存在与该目标图形的图像特征相类似的已知图像特征；比如，识别出在预设的一定精度范围内，是否存在与该目标图形的图像特征相同的已知图像特征。

步骤S30，若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

若识别出所述数据库中不存与所述目标内容标签相同的已知内容标签，则表明该目标图片与数据库中现有存储的已知图片均不相似。

若存在与所述目标内容标签相同的已知内容标签，则在精细层面上进一步对目标图片和已知图片的纹理相似度进行比较，进而根据纹理相似度来确定该目标图片是否与已知图片相同。在图像纹理度层面进行图像相似度判断时，获取所述已知内容标签对应的已知图片，利用目标图片的图像特征与已知图片的图像特征进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

在对图像纹理度是否相同进行的识别时，主要利用预设图像对比模型进行判断；例如，VGG19网络模型、VGG16网络模型以及2-channel模型等。比如，在一个具体的实施方式中，利用感知哈希算法对经过双通道的2-channel模型的两张图片的图像特征进行计算，并按照预设规律生成的对应的指纹字符串；通过比较两张图片之间的指纹字符串，即可确定这两张图片是否相似；比如，指纹字符串的比较结果越接近，则这两张图片越相似；可以根据对应的应用场景设置两者之间的接近阈值，当两张图片的指纹字符串的相似度达到设置的接近阈值，则认为这两张图片为相似的图片。

本实施例提出的图形相似度判断方法，对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似；解决了目前针对商标图形的相似度的判断难度大、人为识别率低的问题，提高了商标图形相似度的识别效率和准确率，进一步地也提高了图形的检索效率和可信度。

进一步地，在本发明的另一个实施例中，由于商标图形的特殊性，为了提高图形相似度判断的效率和准确率，对目标图形进行语义分割时，可以采用如下方式实施：

采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型。利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

本发明实施例中，由于商标图形的特殊性，因此，在对预设学习模型进行训练时，直接采集已经公开的商标图形数据作为商标训练样本，并利用采集的商标图形数据直接对预设学习模型进行训练，得到满足条件的模型参数，进而根据得到的模型参数，配置预设学习模型，即可得到训练后的深度学习模型。由于不同的学习模型，针对该学习模型可能采取的具体训练方式也不相同；比如，针对预设分割子模型进行训练时，先对商标训练样本进行标注，然后利用标注的商标训练样本对预设分割子模型进行训练，直至训练结果满足预设收敛条件。或者，针对卷积神经网络进行训练时，输入商标训练样本，利用卷积神经网络构建深度学习模型对应的网络参数，进而根据构建的网络参数，配置得到训练后的深度学习模型等。

本领域技术人员可以理解，不同的学习模型采取的具体训练方式不同，因此，针对该学习模型训练得到的深度学习模型的具体实施方式也不相同，本发明实施例对“利用采集的所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型”的具体实施方式，不进行一一穷举和限定。

针对需要进行语义分割的目标图形比如商标图形，利用训练好的深度学习模型进行特征提取，得到该商标图形对应的图像特征；针对提取出的图像特征，利用预设概率图模型进行图像特征的解析，将所述商标图形中不同的内容主体进行语义分割，得到对应的语义分割结果。

在一个实施例中，将得到的语义分割结果自动返回至客户端，比如针对商标图形进行语义分割后得到的该商标图形对应的：内容主体、该内容主体对应的图像大小以及该内容主体在所述商标图形中所处的位置等。

本实施例采用的图像语义分割方法，采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签，实现了一种针对商标图形的图像分割方法，使得对商标图形的语义分割更具针对性，提高了语义分割的识别准确率。

进一步地，在本发明的另一个实施例中，利用已公开的商标图形数据，针对语义分割所使用的预设学习模型进行训练，得到深度学习模型，可以采用如下描述的方式实施：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

本发明实施例中的预设分割子模型包括但不限于：FCN模型、Deep lab模型以及Dilated Net模型等。

进一步地，在本发明实施例中，对预设分割子模型和预设概率图模型的参数进行修正时，可以采用交叉熵损失函数来计算预测语义分割结果与上述标注的所述语义分割信息之间的误差，并利用反向传播的算法，根据预测语义分割结果与标注的语义分割信息之间的误差，更新预设分割子模型和概率图模型的参数，直至上述交叉熵损失函数计算的所述误差的值小于一预设的阈值，或者不断迭代重复执行上述训练步骤的迭代次数达到了一预定值，则表示训练完成，得到基于上述预设分割子模型的深度学习模型。

基于上述这种处理方式，可以得到较为准确的深度学习模型，进而能够对需进行语义分割的商标图形进行准确的特征提取，提高语义分割的准确率。

在本发明的另一个实施例中，针对所述目标图片与已知图片进行图像纹理相似度比较，进而根据比较结果，确定所述目标图片是否与已知图片相似，可以通过如下方式实施：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

在对上述目标图片与已知图片的纹理相似度进行比较时，利用预设图像处理模型，从上述目标图片与已知图片中提取出各自对应的图像特征；本发明实施例中，进行图像特征提取时所采用的预设图像处理模型为VGG19网络提取模型或者VGG16或者其他的图像处理模型，上述图像处理模型可以根据具体的应用场景和对图像纹理相似度识别的精度进行选取。其中，针对VGG19网络模型，该VGG19网络模型包括16个卷积层和3个全连接层。针对利用VGG19图像处理模型提取出的图像特征，利用预设图像对比模型对提取出的这两个图像特征进行纹理相似度识别。

本发明实施例中，为了提高图像纹理识别的便捷性，采用的预设图像对比模型为2-channel模型；即将提取出的上述两张图片分别对应的各不相干的两张单通道灰度图像进行组合，得到双通道矩阵，然后将得到的双通道矩阵数据作为网络的输入，通过上述预设图像对比模型2-channel进行纹理相似度比较，得到二者的相似度比较结果，通过相似度比较结果，来识别这两张图片是否相似。即判断得到的相似度值是否大于或者等于预设相似度阈值；若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

进一步地，在一个实施例中，对预设图像对比模型进行训练，得到训练后的预设图像对比模型，可以通过如下方式实施：

提取商标局公开的侵权案例对应的样本图像，对提取的所述样本图像采用数据增强的方式进行图像扩充，将扩充后的样本图像与预设图像集共同作为训练图像集；

利用所述训练图像集和预设图像处理模型所有数据层的固定参数，对所述预设图像对比模型进行训练；

达到预设训练次数时，解锁所述预设图像处理模型中的预设数据层，并将解锁后的所述预设数据层与所述预设图像比对模型进行联合训练，得到训练后的预设图像对比模型。

本发明实施例中，针对提取的商标局公开的侵权案例样本图像，为了更进一步提高纹理相似度的识别准确率，需要丰富训练模型使用的图像集，可以对提取的上述侵权案例样本图像采用数据增强的方式进行图像扩充；比如，采取随机水平、竖直翻转、随机旋转等方式。

在对本发明实施例中使用的图像处理模型(本实施例中为VGG19模型)和图像对比模型(本实施例中为2-channel模型)进行训练时，可以利用现有的图像集ImageNet来训练VGG19模型，得到VGG19模型的参数；然后固定VGG19模型所有数据层的参数，利用扩充后的侵权案例样本图像集，来训练2-channel模型；达到预设训练次数(例如经过10000epoch后)时，默认训练好2-channel模型；此时，对VGG19的最后四个卷积层进行解锁，联合2-channel模型和VGG19网络的最后四个卷积层一起进行训练，训练以后，再利用训练好的VGG19，对经过2-channel模型的两个图像进行纹理相似度比较，从而提高了图像相似度识别的准确率。

其中，由于VGG19网络模型，总共19个数据层，包括16个卷积层和最后3层全连接层，本发明实施例中，先固定VGG19所有数据层的参数，来训练2-channel模型；达到10000epoch之后，再解锁VGG19网络模型中最后四个卷积层，使得解锁后的VGG19网络模型与2-channel模型进行联合训练。本发明实施例中所描述epoch可以理解为：使用整个训练样本集传播一次；其中，一次传播包括一次向前传播和一次向后传播；因此，1个epoch也可以理解为：使训练集中的所有样本数据均通过了1遍上述2-channel模型。

本发明还提供一种图形相似度判断装置。参照图2所示，为本发明一实施例提供的图形相似度判断装置的内部结构示意图。

在本实施例中，图形相似度判断装置1可以是PC(Personal Computer，个人电脑)，也可以是智能手机、平板电脑、便携计算机等终端设备。该图形相似度判断装置1至少包括存储器11、处理器12，通信总线13，以及网络接口14。

其中，存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、磁性存储器、磁盘、光盘等。存储器11在一些实施例中可以是图形相似度判断装置1的内部存储单元，例如该图形相似度判断装置1的硬盘。存储器11在另一些实施例中也可以是图形相似度判断装置1的外部存储设备，例如图形相似度判断装置1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器11还可以既包括图形相似度判断装置1的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于图形相似度判断装置1的应用软件及各类数据，例如图形相似度判断程序01的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。

处理器12在一些实施例中可以是一中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图形相似度判断程序01等。

通信总线13用于实现这些组件之间的连接通信。

网络接口14可选的可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该装置1与其他电子设备之间建立通信连接。

可选地，该装置1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在图形相似度判断装置1中处理的信息以及用于显示可视化的用户界面。

图2仅示出了具有组件11-14以及图形相似度判断程序01的图形相似度判断装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对图形相似度判断装置1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

在图2所示的装置1实施例中，存储器11中存储有图形相似度判断程序01；处理器12执行存储器11中存储的图形相似度判断程序01时实现如下步骤：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签。

本发明实施例中，针对需进行相似度比较的目标图片，先对该目标图片进行语义分割，将目标图片分割成具有不同语义信息的区域，并且标注每个区域相应的语义标签，得到该目标图片对应的目标内容标签。比如，针对商标图形进行语义分割后得到的该商标图形对应的：内容主体、该内容主体对应的图像大小以及该内容主体在所述商标图形中所处的位置等。

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签。

根据得到的上述目标图片对应的目标内容标签，搜索数据库，查找数据库中是否存在与该目标内容标签相同的已知内容标签。

本发明实施例中的数据库为：包含已公开商标对应的已知图像特征的数据库，该数据库中收集了所有已公开商标对应的已知内容标签。通过利用目标内容标签进行数据库中已知内容标签的检索，即可粗略地识别出在该数据库中是否存在与该目标内容标签完全相同的已知内容标签；或者，在该已公开商标图形对应的数据库中，识别出是否存在与该目标图形的图像特征相类似的已知图像特征；比如，识别出在预设的一定精度范围内，是否存在与该目标图形的图像特征相同的已知图像特征。

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

若识别出所述数据库中不存与所述目标内容标签相同的已知内容标签，则表明该目标图片与数据库中现有存储的已知图片均不相似。

若存在与所述目标内容标签相同的已知内容标签，则在精细层面上进一步对目标图片和已知图片的纹理相似度进行比较，进而根据纹理相似度来确定该目标图片是否与已知图片相同。在图像纹理度层面进行图像相似度判断时，获取所述已知内容标签对应的已知图片，利用目标图片的图像特征与已知图片的图像特征进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

在对图像纹理度是否相同进行的识别时，主要利用预设图像对比模型进行判断；例如，VGG19网络模型、VGG16网络模型以及2-channel模型等。比如，在一个具体的实施方式中，利用感知哈希算法对经过双通道的2-channel模型的两张图片的图像特征进行计算，并按照预设规律生成的对应的指纹字符串；通过比较两张图片之间的指纹字符串，即可确定这两张图片是否相似；比如，指纹字符串的比较结果越接近，则这两张图片越相似；可以根据对应的应用场景设置两者之间的接近阈值，当两张图片的指纹字符串的相似度达到设置的接近阈值，则认为这两张图片为相似的图片。

本实施例提出的图形相似度判断装置，对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似；解决了目前针对商标图形的相似度的判断难度大、人为识别率低的问题，提高了商标图形相似度的识别效率和准确率，进一步地也提高了图形的检索效率和可信度。

进一步地，在本发明的另一个实施例中，由于商标图形的特殊性，为了提高图形相似度判断的效率和准确率，所述图形相似度判断程序还可被所述处理器执行，以在对目标图形进行语义分割时，可以采用如下方式实施：

采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型。利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

本发明实施例中，由于商标图形的特殊性，因此，在对预设学习模型进行训练时，直接采集已经公开的商标图形数据作为商标训练样本，并利用采集的商标图形数据直接对预设学习模型进行训练，得到满足条件的模型参数，进而根据得到的模型参数，配置预设学习模型，即可得到训练后的深度学习模型。由于不同的学习模型，针对该学习模型可能采取的具体训练方式也不相同；比如，针对预设分割子模型进行训练时，先对商标训练样本进行标注，然后利用标注的商标训练样本对预设分割子模型进行训练，直至训练结果满足预设收敛条件。或者，针对卷积神经网络进行训练时，输入商标训练样本，利用卷积神经网络构建深度学习模型对应的网络参数，进而根据构建的网络参数，配置得到训练后的深度学习模型等。

本领域技术人员可以理解，不同的学习模型采取的具体训练方式不同，因此，针对该学习模型训练得到的深度学习模型的具体实施方式也不相同，本发明实施例对“利用采集的所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型”的具体实施方式，不进行一一穷举和限定。

针对需要进行语义分割的目标图形比如商标图形，利用训练好的深度学习模型进行特征提取，得到该商标图形对应的图像特征；针对提取出的图像特征，利用预设概率图模型进行图像特征的解析，将所述商标图形中不同的内容主体进行语义分割，得到对应的语义分割结果。

在一个实施例中，将得到的语义分割结果自动返回至客户端，比如针对商标图形进行语义分割后得到的该商标图形对应的：内容主体、该内容主体对应的图像大小以及该内容主体在所述商标图形中所处的位置等。

本实施例采用的图像语义分割装置，采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签，实现了一种针对商标图形的图像分割方法，使得对商标图形的语义分割更具针对性，提高了语义分割的识别准确率。

进一步地，在本发明的另一个实施例中，所述图形相似度判断程序还可被所述处理器执行，以在利用已公开的商标图形数据，针对语义分割所使用的预设学习模型进行训练，得到深度学习模型，包括：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

本发明实施例中的预设分割子模型包括但不限于：FCN模型、Deep lab模型以及Dilated Net模型等。

进一步地，在本发明实施例中，对预设分割子模型和预设概率图模型的参数进行修正时，可以采用交叉熵损失函数来计算预测语义分割结果与上述标注的所述语义分割信息之间的误差，并利用反向传播的算法，根据预测语义分割结果与标注的语义分割信息之间的误差，更新预设分割子模型和概率图模型的参数，直至上述交叉熵损失函数计算的所述误差的值小于一预设的阈值，或者不断迭代重复执行上述训练步骤的迭代次数达到了一预定值，则表示训练完成，得到基于上述预设分割子模型的深度学习模型。

基于上述这种处理方式，可以得到较为准确的深度学习模型，进而能够对需进行语义分割的商标图形进行准确的特征提取，提高语义分割的准确率。

在本发明的另一个实施例中，所述图形相似度判断程序还可被所述处理器执行，以在针对所述目标图片与已知图片进行图像纹理相似度比较，进而根据比较结果，确定所述目标图片是否与已知图片相似，包括：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

在对上述目标图片与已知图片的纹理相似度进行比较时，利用预设图像处理模型，从上述目标图片与已知图片中提取出各自对应的图像特征；本发明实施例中，进行图像特征提取时所采用的预设图像处理模型为VGG19网络提取模型或者VGG16或者其他的图像处理模型，上述图像处理模型可以根据具体的应用场景和对图像纹理相似度识别的精度进行选取。其中，针对VGG19网络模型，该VGG19网络模型包括16个卷积层和3个全连接层。针对利用VGG19图像处理模型提取出的图像特征，利用预设图像对比模型对提取出的这两个图像特征进行纹理相似度识别。

本发明实施例中，为了提高图像纹理识别的便捷性，采用的预设图像对比模型为2-channel模型；即将提取出的上述两张图片分别对应的各不相干的两张单通道灰度图像进行组合，得到双通道矩阵，然后将得到的双通道矩阵数据作为网络的输入，通过上述预设图像对比模型2-channel进行纹理相似度比较，得到二者的相似度比较结果，通过相似度比较结果，来识别这两张图片是否相似。即判断得到的相似度值是否大于或者等于预设相似度阈值；若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

进一步地，在一个实施例中，所述图形相似度判断程序还可被所述处理器执行，以在对预设图像对比模型进行训练，得到训练后的预设图像对比模型，包括：

提取商标局公开的侵权案例对应的样本图像，对提取的所述样本图像采用数据增强的方式进行图像扩充，将扩充后的样本图像与预设图像集共同作为训练图像集；

利用所述训练图像集和预设图像处理模型所有数据层的固定参数，对所述预设图像对比模型进行训练；

达到预设训练次数时，解锁所述预设图像处理模型中的预设数据层，并将解锁后的所述预设数据层与所述预设图像比对模型进行联合训练，得到训练后的预设图像对比模型。

本发明实施例中，针对提取的商标局公开的侵权案例样本图像，为了更进一步提高纹理相似度的识别准确率，需要丰富训练模型使用的图像集，可以对提取的上述侵权案例样本图像采用数据增强的方式进行图像扩充；比如，采取随机水平、竖直翻转、随机旋转等方式。

在对本发明实施例中使用的图像处理模型(本实施例中为VGG19模型)和图像对比模型(本实施例中为2-channel模型)进行训练时，可以利用现有的图像集ImageNet来训练VGG19模型，得到VGG19模型的参数；然后固定VGG19模型所有数据层的参数，利用扩充后的侵权案例样本图像集，来训练2-channel模型；达到预设训练次数(例如经过10000epoch后)时，默认训练好2-channel模型；此时，对VGG19的最后四个卷积层进行解锁，联合2-channel模型和VGG19网络的最后四个卷积层一起进行训练，训练以后，再利用训练好的VGG19，对经过2-channel模型的两个图像进行纹理相似度比较，从而提高了图像相似度识别的准确率。

其中，由于VGG19网络模型，总共19个数据层，包括16个卷积层和最后3层全连接层，本发明实施例中，先固定VGG19所有数据层的参数，来训练2-channel模型；达到10000epoch之后，再解锁VGG19网络模型中最后四个卷积层，使得解锁后的VGG19网络模型与2-channel模型进行联合训练。本发明实施例中所描述epoch可以理解为：使用整个训练样本集传播一次；其中，一次传播包括一次向前传播和一次向后传播；因此，1个epoch也可以理解为：使训练集中的所有样本数据均通过了1遍上述2-channel模型。

可选地，在其他实施例中，图形相似度判断程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由一个或多个处理器(本实施例为处理器12)所执行以完成本发明，本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，用于描述图形相似度判断程序在图形相似度判断装置中的执行过程。

例如，参照图3所示，为本发明图形相似度判断装置一实施例中的图形相似度判断程序的程序模块示意图，该实施例中，图形相似度判断程序可以被分割为语义分割模块10、标签识别模块20和纹理比较模块30，示例性地：

语义分割模块10用于：对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

标签识别模块20用于：根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

纹理比较模块30用于：若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

上述语义分割模块10、标签识别模块20和纹理比较模块30等程序模块被执行时所实现的功能或操作步骤与上述实施例大体相同，在此不再赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有图形相似度判断程序，所述图形相似度判断程序可被一个或多个处理器执行，以实现如下操作：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似。

本发明计算机可读存储介质具体实施方式与上述图形相似度判断装置和方法各实施例基本相同，在此不作累述。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种图形相似度判断方法，其特征在于，所述方法包括：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似；

其中，所述对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签，包括：采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

2.如权利要求1所述的图形相似度判断方法，其特征在于，所述采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型，包括：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述预设概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

3.如权利要求1或2所述的图形相似度判断方法，其特征在于，所述对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似，包括：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

4.如权利要求3所述的图形相似度判断方法，其特征在于，所述对预设图像对比模型进行训练，得到训练后的预设图像对比模型，包括：

提取商标局公开的侵权案例对应的样本图像，对提取的所述样本图像采用数据增强的方式进行图像扩充，将扩充后的样本图像与预设图像集共同作为训练图像集；

利用所述训练图像集和预设图像处理模型所有数据层的固定参数，对所述预设图像对比模型进行训练；

达到预设训练次数时，解锁所述预设图像处理模型中的预设数据层，并将解锁后的所述预设数据层与所述预设图像比对模型进行联合训练，得到训练后的预设图像对比模型。

5.一种图形相似度判断装置，其特征在于，所述装置包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的图形相似度判断程序，所述图形相似度判断程序被所述处理器执行时实现如下步骤：

对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签；

根据得到的所述目标内容标签，搜索包含已知图像特征对应的已知内容标签数据库，识别所述数据库中是否存与所述目标内容标签相同的已知内容标签；

若存与所述目标内容标签相同的已知内容标签，则获取所述已知内容标签对应的已知图片，对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似；

其中，所述对需进行相似度比较的目标图片进行语义分割，得到语义分割后所述目标图片对应的目标内容标签，包括：采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型；利用训练后的深度学习模型，提取所述目标图片的图像特征；利用预设概率图模型对提取出的所述图像特征进行解析，根据解析结果，对所述目标图片中不同的内容主体进行语义分割，得到语义分割对应的目标内容标签。

6.如权利要求5所述的图形相似度判断装置，其特征在于，所述采集已公开的商标图形数据并将其作为模型训练的商标训练样本，利用所述商标训练样本对预设学习模型进行训练，得到训练后的深度学习模型，包括：

采集已公开的商标图形数据并标注对应的语义分割信息，得到已标注语义分割信息的商标训练样本；

将所述商标训练样本分别输入至预设分割子模型中，得到所述商标训练样本对应的包含语义信息的特征图；

将所述特征图与标注的所述语义分割信息同时输入至预设概率图模型中，利用所述预设概率图模型计算所述商标训练样本包含的每个特征图的权重；

将所述商标训练样本对应的所述特征图，按照所述特征图分别对应的权重进行融合，得到所述商标训练样本的预测语义分割结果；

根据所述预测语义分割结果以及标注的语义分割信息，对所述预设分割子模型和预设概率图模型的参数进行修正，直至所述预测语义分割结果与标注的所述语义分割信息之间的误差小于预设阈值，则得到训练完成的基于所述预设分割子模型的深度学习模型。

7.如权利要求5或6所述的图形相似度判断装置，其特征在于，所述对所述目标图片与已知图片进行图像纹理相似度比较，根据比较结果，确定所述目标图片是否与已知图片相似，包括：

对预设图像对比模型进行训练，得到训练后的预设图像对比模型；

根据所述目标图片与已知图片分别对应的图像特征，利用训练后的所述预设图像对比模型，对所述目标图片与已知图片的纹理相似度进行比较，得到对应的相似度值；

判断所述相似度值是否大于或者等于预设相似度阈值；

若所述相似度值大于或者等于预设相似度阈值，则识别出所述目标图片与已知图片相似；

若所述相似度值小于预设相似度阈值，则识别出所述目标图片与已知图片不相似。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图形相似度判断程序，所述图形相似度判断程序可被一个或者多个处理器执行，以实现如权利要求1至4中任一项所述的图形相似度判断方法的步骤。