CN115482398A - 一种外观侵权的检测方法、装置及存储介质 - Google Patents

一种外观侵权的检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115482398A
CN115482398A CN202211097146.3A CN202211097146A CN115482398A CN 115482398 A CN115482398 A CN 115482398A CN 202211097146 A CN202211097146 A CN 202211097146A CN 115482398 A CN115482398 A CN 115482398A
Authority
CN
China
Prior art keywords
detected
key point
sample
candidate
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211097146.3A
Other languages
English (en)
Inventor
赵仪琳
葛书航
魏海巍
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gongdao Network Technology Co ltd
Original Assignee
Gongdao Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gongdao Network Technology Co ltd filed Critical Gongdao Network Technology Co ltd
Priority to CN202211097146.3A priority Critical patent/CN115482398A/zh
Publication of CN115482398A publication Critical patent/CN115482398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种外观侵权的检测方法、装置及存储介质。该方法可以包括：获取待检测对象的外观图像，并提取该外观图像中的待检测关键点；构建初始待检测关键点局部特征集，其中包含每个待检测关键点对应的初始待检测关键点局部特征；基于注意力机制确定每个待检测关键点对应的注意力权重，根据注意力权重对初始待检测关键点局部特征进行编码，生成目标待检测关键点局部特征集；基于目标待检测关键点局部特征集和目标候选关键点局部特征集，计算每个待检测关键点与每个候选关键点之间的相似度；当相似关键点比例超过预设比例阈值时，判定待检测对象对目标候选对象形成外观侵权。通过本申请的技术方案，可以从海量数据中快速准确地寻找到侵权图像。

Description

一种外观侵权的检测方法、装置及存储介质
技术领域
本申请一个或多个实施例涉及图像检索领域，尤其涉及一种外观侵权的检测方法、装置及存储介质。
背景技术
随着互联网技术的快速发展，各种商品或者设计的外观设计图像被广泛传播并应用于各大论坛。由此引发了严重的原创外观图像被侵权的问题。例如，部分不法分子经常利用图像编辑等手段在原创外观图像作品的基础上制作相似的图像作品并应用于另一物品的外观设计，以此来牟取暴利。随着人们对外观设计保护的需求增长与数据大爆发，在法律场景中，迫切需要一种快速有效地在海量数据中寻找到侵权图像的方法，以便更好地维护设计者的权益。
在相关技术中，外观图像侵权的审查需要依托于图像检索技术。将疑似侵权对象的外观图像作为待检测的图像，在预设外观图像库中查找与待检测图像高度相似的图像作为检索结果。最后，检索结果需要经过进一步的人工认定来最终确定是否存在侵权行为。由于待检测的图像很有可能是基于候选对象的外观图像的变形，比如目标旋转、尺寸剪裁等。因此上述检索方法有时候难以检索到准确的被侵权的图像，导致判定外观侵权失败。
发明内容
本申请提供了一种外观侵权的检测方法，以解决相关技术中的不足。
根据本申请一个或多个实施例的第一方面，提供一种外观侵权的检测方法，该方法包括：
获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点；
构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征；
基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集；
基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征；
当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
根据本申请一个或多个实施例的第二方面，提供一种外观侵权检测模型的训练方法，该方法包括：
获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像；
将所述样本待检测对象的外观图像输入外观侵权检测模型，该外观侵权检测模型包含关键点提取层、关键点特征生成层、关键点编码层、关键点匹配层，其中：
所述关键点提取层用于提取所述样本待检测对象的外观图像中的样本待检测关键点；
所述关键点特征生成层用于构建样本初始待检测关键点局部特征集，该特征集包含每个样本待检测关键点对应的样本初始待检测关键点局部特征，其中，所述样本初始待检测关键点局部特征包括相应样本待检测关键点的位置信息，以及该样本待检测关键点在所述样本待检测对象的外观图像上对应的图像特征；
所述关键点编码层用于基于注意力机制确定每个样本待检测关键点对应的注意力权重，根据所述注意力权重对所述样本初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的样本目标待检测关键点局部特征的样本目标待检测关键点局部特征集；
所述关键点匹配层用于基于所述样本目标待检测关键点局部特征集和样本目标候选对象的外观图像对应的样本目标候选关键点局部特征集，计算所述每个样本待检测关键点与每个样本候选关键点之间的相似度；其中，所述样本目标候选关键点局部特征集由样本初始候选关键点局部特征集基于注意力机制编码生成，所述样本初始候选关键点局部特征集由所述每个样本候选关键点对应的样本初始候选关键点局部特征组成，所述样本初始候选关键点局部特征包括所述样本候选关键点的位置信息，以及所述样本候选关键点在所述样本目标候选对象的外观图像上对应的图像特征；
根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
根据本申请一个或多个实施例的第三方面，提供一种外观侵权检测的装置，该装置包括：
获取单元，用于获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点；
构建单元，用于构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征；
生成单元，用于基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集；
计算单元，用于基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征；
判定单元，用于当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
根据本申请一个或多个实施例的第四方面，提供一种外观侵权检测模型的训练装置，该装置包括：
样本获取单元，用于获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像；
输入单元，用于将所述样本待检测对象的外观图像以及样本目标候选对象的外观图像输入所述外观侵权检测模型，输出每个样本待检测关键点与每个样本候选关键点之间的相似结果；
迭代单元，用于根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
根据本申请一个或多个实施例的第五方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如上述第一方面/第二方面的实施例中所述的方法。
根据本申请一个或多个实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述第一方面/第二方面的实施例中所述方法的步骤。
由以上技术方案可见，本申请一个或多个实施例中，通过对待检测对象的外观图像中的待检测关键点进行编码及特征提取，使得提取到的目标待检测关键点局部特征能够更加准确地表征相应的待检测关键点，提高与目标候选对象的外观图像的匹配准确度，有助于维护设计者的权益。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是一示例性实施例提供的一种外观侵权检测模型的训练方法的流程图。
图2是一示例性实施例提供的一种外观侵权检测模型的架构示意图。
图3是一示例性实施例提供的一种外观侵权的检测方法的流程图。
图4是根据本申请一示例性实施例示出的一种电子设备的结构示意图。
图5是根据本申请一示例性实施例示出的一种外观侵权的检测装置的框图。
图6是根据本申请一示例性实施例示出的一种外观侵权检测模型的训练装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本申请示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本申请所描述的更多或更少。此外，本申请中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本申请中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
随着各种商品或者设计的外观图像的侵权问题愈发严重，在法律场景中，迫切需要一种快速有效地在海量数据中寻找到侵权图像的方法，以便更好地维护设计者的权益。由于相关技术中，疑似侵权对象的外观图像很有可能是基于候选对象的外观图像的变形，比如目标旋转、尺寸剪裁等，因此难以准确检索到被侵权的图像，导致判定外观侵权失败。
本申请提供一种准确快速地检测外观侵权的模型训练方法以及外观侵权的检测方法，可以在海量数据中快速有效地寻找到被侵权对象的外观图像，帮助维护设计者的权益。
图1是一示例性实施例提供的一种外观侵权检测模型的训练方法的流程图。如图1所示，该方法可以包括以下步骤：
S101，获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像。
在本实施例中，样本待检测对象对样本目标候选对象形成外观侵权是已知的、确定的。样本待检测对象的外观图像可以包括在实体刊物或互联网各大论坛中产生侵权纠纷的图像。本申请并不对此进行限制。比如，已知一款办公室转椅对某系列办公室转椅构成外观侵权，可以将这一款办公室转椅的外观图像作为样本待检测对象的外观图像，对应的样本目标候选对象可以是某系列办公室转椅，样本目标候选对象的外观图像可以包括某系列办公室转椅的前视图、后视图、左侧视图、右侧视图，分别经过不完全旋转0°、90°、180°、270°得到，角度偏差可以在±[5°，45°]。
S102，将所述样本待检测对象的外观图像输入外观侵权检测模型，输出每个样本待检测关键点与每个样本候选关键点之间的相似结果。
计算每个样本待检测关键点与每个样本候选关键点之间的相似结果的具体过程可以详见图2。
图2是一示例性实施例提供的一种外观侵权检测模型的架构示意图。如图2所示，该模型包括关键点提取层202、关键点特征生成层204、关键点编码层206、关键点匹配层208，其中：
关键点提取层202，用于提取样本待检测对象的外观图像中的样本待检测关键点。
关键点又称兴趣点，是2D图像、3D点云或者曲面模型上，可以通过定义检测标准来获取的具有稳定性、区别性的点集。因此，关键点可以作为一种局部特征描述子，用于特征的识别与追踪等。提取图像关键点的方式有很多，例如NARF(Normal Aligned RadialFeature，法线对齐的径向特征)、Harris角点检测算法、SIFT算法(Scale-invariantfeature transform，尺度不变特征变换)，本申请并不对此进行限制。以SIFT算法为例，SIFT算法在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，其实质是在不同的尺度空间上查找关键点，并计算出关键点的方向。SIFT算法所查找到的关键点是一些十分突出的、不会因光照、尺度、旋转等因素而变化的点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点等。
在本实施例中，利用SIFT算法提取出样本待检测对象的外观图像中的512个样本待检测关键点，并且得到每个样本待检测关键点的位置信息，包括位置坐标以及关键点坐标的置信度，具体的，第i个样本待检测关键点的位置信息可以表示为pi＝(x,y,c)i，其中，c表示关键点坐标的置信度，表征该点为关键点的概率。将512个样本待检测关键点输入多层卷积神经网络(Convolutional Neural Networks，CNN)，生成对应的512个样本图像特征。同理，可以利用SIFT算法提取样本候选对象的外观图像中的512个样本候选关键点，并基于多层卷积神经网络生成512个样本候选关键点对应的样本图像特征。当然，也可以选择提前离线计算好样本候选图像的样本候选关键点，以及样本候选关键点对应的图像特征，并存储在云端。
关键点特征生成层204，用于构建样本初始待检测关键点局部特征集，该特征集包含每个样本待检测关键点对应的样本初始待检测关键点局部特征，其中，样本初始待检测关键点局部特征包括相应样本待检测关键点的位置信息，以及该样本待检测关键点在样本待检测对象的外观图像上对应的图像特征。
根据每个样本待检测关键点的位置与每个样本待检测关键点对应的图像特征，对512个样本待检测关键点进行编码。在本实施例中，可以利用多层感知机(MultilayerPerceptron，MLP)将样本待检测关键点的位置映射到高维向量空间，并且结合图像特征生成每个样本待检测关键点对应的样本初始待检测关键点局部特征。具体如公式(1)所示：
(0)xi＝di+MLPenc(pi) (1)
其中，(0)xi表征样本待检测关键点i对应的样本初始待检测关键点局部特征，di表征样本待检测关键点i对应的图像特征，pi表征样本待检测关键点i的位置信息。
多层感知机也叫人工神经网络(Artificial Neural Network，ANN)，除了输入输出层，它中间可以有多个隐藏层，层与层之间是全连接的。因此，可以使得生成的样本初始待检测关键点局部特征能够更加准确地表征相应的样本待检测关键点。进一步地，可以通过样本初始待检测关键点局部特征构建出样本初始待检测关键点局部特征集。
在一实施例中，为了提高侵权检测的效率，可以提前将图像库中所有样本候选对象的外观图像中的样本候选关键点，以及样本候选关键点对应的图像特征离线计算好，并存储在云端。进而，根据样本待检测对象的外观图像对应的样本待检测关键点局部特征集，与图像库中所有样本候选对象的外观图像对应的样本初始候选关键点局部特征集之间的余弦相似度，对所有样本候选对象的外观图像进行排序，根据排序结果，选取相似度相对更高的预设数量的外观图像作为样本目标候选对象的外观图像，比如可以从20000张候选图像中选取相似度相对更高的前200张图像作为样本目标候选对象的外观图像，以此减少计算量，提高侵权检测效率。
在一实施例中，还可以采用多个图形处理器(graphics processing unit，gpu)部署方式，将前述预设数量的外观图像与样本待检测图像组成的图像对进行并行处理，提高计算效率。
关键点编码层206，用于基于注意力机制确定每个样本待检测关键点对应的注意力权重，根据注意力权重对样本初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的样本目标待检测关键点局部特征的样本目标待检测关键点局部特征集。
注意力机制(Attention)是聚焦于局部信息的机制，比如图像中的某一个图像区域，核心目标是从众多信息中定位到对当前任务目标更关键的信息，抑制无用信息。针对每个样本待检测关键点，可以基于注意力机制确定该样本待检测关键点与其他各个样本待检测关键点之间的注意力权重，以及该样本待检测关键点与各个样本候选图像关键点之间的注意力权重。注意力权重也可以理解为相互影响分数，通过注意力机制计算出同一张图像中两个关键点之间的注意力权重越大，说明同一张图像中这两个关键点之间的关联更紧密；同理，计算出样本待检测图像中的样本待检测关键点与样本候选图像中的样本候选关键点之间的注意力权重越大，说明该样本待检测关键点与该样本候选关键点更相似。具体计算注意力权重的方法如公式(2)所示：
Figure BDA0003838631360000091
其中，αij表征关键点i与关键点j之间的注意力权重，qi表征样本待检测图像中样本待检测关键点i的查询向量，kj表征样本候选图像中与样本待检测关键点i对应的样本候选关键点j的键向量。计算方法如公式(3)、(4)所示：
Figure BDA0003838631360000092
Figure BDA0003838631360000093
在公式(3)、(4)中，
Figure BDA0003838631360000094
表征在样本待检测图像Q中的样本待检测关键点i的特征向量，
Figure BDA0003838631360000095
表征在样本候选图像S中的样本候选关键点j的特征向量，其中，样本候选关键点j与样本待检测关键点i相对应。
Figure BDA0003838631360000096
表征第l层图神经网络的权重，关于图神经网络，后续描述有说明。b1、b2、b3表征偏置，均为模型待训练的参数。
在计算出的所有注意力权重中，选择样本关键点之间存在连接关系的注意力权重进行注意力聚合，从而获取集合信息。根据集合信息对样本初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的样本目标待检测关键点局部特征的样本目标待检测关键点局部特征集，从而使得样本目标待检测关键点局部特征集可以包含关键点之间的连接关系这一特征，提高后续匹配概率。获取集合信息的原理具体如公式(5)所示：
Figure BDA0003838631360000101
其中，mε→i表征集合信息，vj表征前述公式(4)中与样本待检测关键点i对应的样本候选关键点j的值向量。
向多层图神经网络输入样本初始待检测关键点局部特征集以及样本初始候选关键点局部特征集。在本实施例中，多层图神经网络包含多个全连接层，且每层包括样本待检测关键点与样本候选关键点分别对应的节点。根据每一层节点的输入，以及每一层样本待检测关键点对应的注意力权重的集合信息，得到每一层节点的输出。首层图神经网络的输入是样本初始待检测关键点局部特征集以及样本初始候选关键点局部特征集，非首层节点的输入为其前一层节点的输出。生成每一层节点的输出的具体原理如公式(6)所示：
Figure BDA0003838631360000102
其中，
Figure BDA0003838631360000103
表征样本待检测图像A中的样本待检测关键点i对应的节点在第(l+1)层的输出。经过多层图神经网络，最终生成样本目标待检测关键点局部特征集。
关键点匹配层208，用于基于样本目标待检测关键点局部特征集和样本目标候选对象的外观图像对应的样本目标候选关键点局部特征集，计算每个样本待检测关键点与每个样本候选关键点之间的相似度；其中，样本目标候选关键点局部特征集由样本初始候选关键点局部特征集基于注意力机制编码生成，样本初始候选关键点局部特征集由每个样本候选关键点对应的样本初始候选关键点局部特征组成，样本初始候选关键点局部特征包括样本候选关键点的位置信息，以及样本候选关键点在样本目标候选对象的外观图像上对应的图像特征。
在一实施例中，将多层图神经网络最终输出的样本目标待检测关键点局部特征集进行降维处理，以减少计算量。进行降维处理的方式有很多，本申请并不对此进行限制。以图神经网络(Graph Neural Networks，GNN)为例，将样本目标待检测关键点局部特征集通过多层GNN生成优化后的样本目标待检测关键点局部特征集。具体如公式(7)所示：
Figure BDA0003838631360000111
其中，
Figure BDA0003838631360000112
表征样本待检测图像A上的样本待检测关键点i对应的优化后样本目标待检测关键点局部特征，W(L)表征第l层GNN的权重，b为GNN的偏置。同样的，优化后样本目标候选关键点局部特征集也可以通过该方式生成。与前述样本目标待检测关键点局部特征集的生成方式一样，样本目标候选关键点局部特征集由样本初始候选关键点局部特征集基于注意力机制编码生成。而样本初始候选关键点局部特征集由样本候选对象的外观图像中的每个样本候选关键点对应的样本初始候选关键点局部特征组成，样本初始候选关键点局部特征同样包括了样本候选关键点的位置信息，以及样本候选关键点在样本目标候选对象的外观图像上对应的图像特征。
利用相似度矩阵计算样本待检测关键点对应的优化后样本目标待检测关键点局部特征集，与样本候选关键点对应的优化后样本目标候选关键点局部特征集之间的相似度。具体原理如公式(8)所示：
Figure BDA0003838631360000113
在公式(8)中，Si，j表征M×N维的相似度矩阵。
Figure BDA0003838631360000114
表征样本候选图像B上的样本候选关键j对应的优化后样本目标候选关键点局部特征，且样本候选关键点j与样本待检测关键点i相对应。
在一实施例中，为了兼容没有关键点能够匹配，以及过滤错误匹配的关键点对的情况，可以利用Sinkhorn算法将M×N维的相似度矩阵S转换成(M+1)×(N+1)维的矩阵P。Sinkhorn算法是一种迭代算法，它通过将输入的矩阵交替进行行归一化以及列归一化，最终收敛得到一个每行、每列加和均为1的双随机矩阵。例如，图A中的关键点m未被匹配到，已知矩阵S的第m行的和为1，但没有匹配，(m，0)…(m，M)的值应为0(趋于0的极小值)，因此在结尾增加一列，即(m，M+1)趋于1。由此，可以兼容没有关键点能够匹配，或者过滤掉错误匹配的关键点对的情况。
S103，根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
在本实施例中，损失函数的收敛条件为矩阵P的负对数似然函数最小化。似然函数是机器学习中一种关于模型中参数的函数，通常用于在模型已定、参数未知的情况下，根据观察结果来估计模型的参数可能值。对似然函数取负对数之后，因为期望似然估计越大越好，所以负对数似然函数的整体值越小越好，即使得损失函数取到最小值。具体的损失函数如公式(9)所示：
Figure BDA0003838631360000121
其中，
Figure BDA0003838631360000122
表征样本待检测图像A与样本候选图像B匹配的关键点集合，
Figure BDA0003838631360000123
表征没有匹配的关键点。当损失函数收敛时，结束迭代训练，得到训练完成的侵权检测模型。
以上实施例中，介绍了本申请是如何建立并训练外观侵权的检测模型的。在具体实施过程中，可以基于上述检测模型来高效、准确地实现对外观侵权的检测。
图3是一示例性实施例提供的一种外观侵权的检测方法的流程图。如图3所示，该方法可以包括以下步骤：
S301，获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点。
在本实施例中，待检测对象的外观图像可以包括在实体刊物或互联网各大论坛中产生侵权争议的图像。本申请并不对此进行限制。比如，某专辑的封面图被指出抄袭某系列珠宝的设计。因此，可以将该专辑的封面图作为待检测对象的外观图像，将某系列珠宝作为目标候选对象，该系列珠宝的外观图像就是目标候选对象的候选图像。其中，候选图像可以包括该系列珠宝的前视图、后视图、左侧视图、右侧视图，分别经过不完全旋转0°、90°、180°、270°得到，角度偏差可以在±[5°，45°]。
在一实施例中，可以利用SIFT算法提取出待检测对象的外观图像中的512个关键点，具体提取方式可以参考上述实施例S102，此处不再赘述。
S302，构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征。
在本实施例中，可以根据每个待检测关键点的位置与每个待检测关键点对应的图像特征，利用多层感知机对512个待检测关键点进行编码，生成初始待检测关键点局部特征。具体实现原理如公式(10)所示：
(0)xm＝dm+MLPenc(pm) (10)
其中，(0)xm表征待检测关键点m对应的初始待检测关键点局部特征，dm表征待检测关键点m对应的图像特征，pm表征待检测关键点m的位置信息。通过得到的初始待检测关键点局部特征，进一步构建出初始待检测关键点局部特征集。
S303，基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集。
在一实施例中，针对每个待检测关键点，可以基于注意力机制确定该待检测关键点与其他各个待检测关键点之间的注意力权重，以及该待检测关键点与各个候选图像关键点之间的注意力权重。具体计算注意力权重的方法如公式(11)所示：
Figure BDA0003838631360000131
其中，αmn表征关键点m与关键点n之间的注意力权重，qm表征待检测图像中待检测关键点m的查询向量，kn表征候选图像中与待检测关键点m对应的候选关键点n的键向量。计算方法如公式(12)、(13)所示：
Figure BDA0003838631360000141
Figure BDA0003838631360000142
此时，公式(12)、(13)中，
Figure BDA0003838631360000143
表征在待检测图像Q中的待检测关键点m的特征向量，
Figure BDA0003838631360000144
表征在候选图像S中的候选关键点n的特征向量，其中，候选关键点n与待检测关键点m相对应。
Figure BDA0003838631360000145
表征第l层图神经网络的权重，b1、b2、b3表征偏置。
在计算出的所有注意力权重中，选择关键点之间存在连接关系的注意力权重进行注意力聚合，从而获取集合信息。具体获取方式如公式(14)所示：
Figure BDA0003838631360000146
其中，mε→m表征集合信息，vn表征公式(13)中与待检测关键点m对应的候选关键点n的值向量。
向多层图神经网络输入初始待检测关键点局部特征集以及初始候选关键点局部特征集，生成目标待检测关键点局部特征集。具体原理如公式(15)所示：
Figure BDA0003838631360000147
其中，
Figure BDA0003838631360000148
表征待检测图像A中的待检测关键点m对应的节点在第(l+1)层的输出。经过多层图神经网络，最终生成目标待检测关键点局部特征集。
S304，基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征。
在一实施例中，利用多层GNN对目标待检测关键点局部特征集进行优化，得到优化后的目标待检测关键点局部特征集，具体如公式(16)所示：
Figure BDA0003838631360000151
其中，
Figure BDA0003838631360000152
表征待检测图像A上的待检测关键点m对应的优化后目标待检测关键点局部特征，W(L)表征第l层GNN的权重，b为GNN的偏置。同样的，优化后目标候选关键点局部特征也可以通过该方式生成。具体可以参考上述实施例S102，此处不再赘述。
利用相似度矩阵计算待检测关键点对应的优化后目标待检测关键点局部特征集，与候选关键点对应的优化后目标候选关键点局部特征集之间的相似度。具体原理如公式(17)所示：
Figure BDA0003838631360000153
此时，在公式(8)中，Sm，n表征M×N维的相似度矩阵。
Figure BDA0003838631360000154
表征候选图像B上的候选关键点n对应的优化后目标候选关键点局部特征，且候选关键点n与待检测关键点m相对应。
在一实施例中，可以利用Sinkhorn算法将M×N维的相似度矩阵S转换成(M+1)×(N+1)维的矩阵P，以兼容没有关键点能够匹配，以及过滤错误匹配的关键点对的情况。
S305，当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
在一实施例中，可以预设相似的关键点比例阈值，当计算出相似的关键点比例超过预设比例阈值时，即可判定待检测对象对目标候选对象形成外观侵权。比如，预设相似的关键点比例阈值为80％，即512个关键点中需有409个关键点是相似的，才能判定待检测对象的外观图像和候选对象的外观图像为同一外观图像，因此，待检测对象对目标候选对象形成了外观侵权。
与上述方法实施例相对应，本申请还提供了一种装置的实施例。
图4是根据本申请一示例性实施例示出的一种电子设备的结构示意图。参考图4，在硬件层面，该电子设备包括处理器402、内部总线404、网络接口406、内存408以及非易失性存储器410，当然还可能包括其他业务所需要的硬件。处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运行。当然，除了软件实现方式之外，本申请并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
图5是根据本申请一示例性实施例示出的一种外观侵权的检测装置的框图。参照图5，该装置包括获取单元502、构建单元504、生成单元506、计算单元508，判定单元510，其中：
获取单元502，被配置为获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点。
构建单元504，被配置为构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征。
生成单元506，被配置为基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集。
可选的，所述生成单元506具体用于：针对每个待检测关键点，基于注意力机制确定该待检测关键点与其他各个待检测关键点之间的注意力权重，以及该待检测关键点与各个候选图像关键点之间的注意力权重。
向多层图神经网络输入所述初始待检测关键点局部特征集以及所述初始候选关键点局部特征集，所述多层图神经网络包含多个全连接层，且每层包括所述待检测关键点与所述候选关键点分别对应的节点；
获取所述多层图神经网络输出的所述目标待检测关键点局部特征集；其中，所述初始待检测关键点局部特征集以及所述初始候选关键点局部特征集为所述多层图神经网络的首层节点的输入，且非首层节点的输入为其前一层节点的输出。
计算单元508，被配置为基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征。
判定单元510，被配置为当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
图6是根据本申请一示例性实施例示出的一种外观侵权检测模型的训练装置的框图。参照图6，该装置包括样本获取单元602、输入单元604、迭代单元606，其中：
样本获取单元602，被配置为获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像。
输入单元604，被配置为将所述样本待检测对象的外观图像，以及样本目标候选对象的外观图像输入外观侵权检测模型，该外观侵权模型包含关键点提取层、关键点特征生成层、关键点编码层、关键点匹配层，其中：
关键点提取层被配置为提取样本待检测对象的外观图像中的样本待检测关键点。
关键点特征生成层被配置为构建样本初始待检测关键点局部特征集，该特征集包含每个样本待检测关键点对应的样本初始待检测关键点局部特征，其中，样本初始待检测关键点局部特征包括相应样本待检测关键点的位置信息，以及该样本待检测关键点在样本待检测对象的外观图像上对应的图像特征。
关键点编码层被配置为基于注意力机制确定每个样本待检测关键点对应的注意力权重，根据注意力权重对样本初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的样本目标待检测关键点局部特征的样本目标待检测关键点局部特征集。
关键点匹配层被配置为基于样本目标待检测关键点局部特征集和样本目标候选对象的外观图像对应的样本目标候选关键点局部特征集，计算每个样本待检测关键点与每个样本候选关键点之间的相似度。
迭代单元606被配置为根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
上述实施例阐明的装置或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种外观侵权的检测方法，其特征在于，所述方法包括：
获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点；
构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征；
基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集；
基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征；
当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制确定所述每个待检测关键点对应的注意力权重，包括：
针对每个待检测关键点，基于注意力机制确定该待检测关键点与其他各个待检测关键点之间的注意力权重，以及该待检测关键点与各个候选图像关键点之间的注意力权重。
3.根据权利要求1所述的方法，其特征在于，所述根据所述注意力权重对所述初始待检测关键点局部特征集进行编码，生成目标待检测关键点局部特征集，包括：
向多层图神经网络输入所述初始待检测关键点局部特征集以及所述初始候选关键点局部特征集，所述多层图神经网络包含多个全连接层，且每层包括所述待检测关键点与所述候选关键点分别对应的节点；
获取所述多层图神经网络输出的所述目标待检测关键点局部特征集；其中，所述初始待检测关键点局部特征集以及所述初始候选关键点局部特征集为所述多层图神经网络的首层节点的输入，且非首层节点的输入为其前一层节点的输出。
4.根据权利要求1所述的方法，其特征在于，还包括：
计算所述初始待检测关键点局部特征集与预先计算得到的所有候选对象的外观图像对应的初始候选关键点局部特征集之间的余弦相似度；
选取相似度相对更高的预设数量的外观图像，作为所述目标候选对象的外观图像。
5.一种外观侵权检测模型的训练方法，其特征在于，该方法包括：
获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像；
将所述样本待检测对象的外观图像输入外观侵权检测模型，该外观侵权检测模型包含关键点提取层、关键点特征生成层、关键点编码层、关键点匹配层，其中：
所述关键点提取层用于提取所述样本待检测对象的外观图像中的样本待检测关键点；
所述关键点特征生成层用于构建样本初始待检测关键点局部特征集，该特征集包含每个样本待检测关键点对应的样本初始待检测关键点局部特征，其中，所述样本初始待检测关键点局部特征包括相应样本待检测关键点的位置信息，以及该样本待检测关键点在所述样本待检测对象的外观图像上对应的图像特征；
所述关键点编码层用于基于注意力机制确定每个样本待检测关键点对应的注意力权重，根据所述注意力权重对所述样本初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的样本目标待检测关键点局部特征的样本目标待检测关键点局部特征集；
所述关键点匹配层用于基于所述样本目标待检测关键点局部特征集和样本目标候选对象的外观图像对应的样本目标候选关键点局部特征集，计算所述每个样本待检测关键点与每个样本候选关键点之间的相似度；其中，所述样本目标候选关键点局部特征集由样本初始候选关键点局部特征集基于注意力机制编码生成，所述样本初始候选关键点局部特征集由所述每个样本候选关键点对应的样本初始候选关键点局部特征组成，所述样本初始候选关键点局部特征包括所述样本候选关键点的位置信息，以及所述样本候选关键点在所述样本目标候选对象的外观图像上对应的图像特征；
根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
6.一种外观侵权检测的装置，其特征在于，该装置包括：
获取单元，用于获取待检测对象的外观图像，并提取所述外观图像中的待检测关键点；
构建单元，用于构建初始待检测关键点局部特征集，该特征集包含每个待检测关键点对应的初始待检测关键点局部特征，其中，所述初始待检测关键点局部特征包括相应待检测关键点的位置信息，以及该待检测关键点在所述外观图像上对应的图像特征；
生成单元，用于基于注意力机制确定每个待检测关键点对应的注意力权重，根据所述注意力权重对所述初始待检测关键点局部特征集中的特征进行编码，生成包含编码得到的目标待检测关键点局部特征的目标待检测关键点局部特征集；
计算单元，用于基于所述目标待检测关键点局部特征集和目标候选对象的外观图像对应的目标候选关键点局部特征集，计算所述每个待检测关键点与每个候选关键点之间的相似度；其中，所述目标候选关键点局部特征集由初始候选关键点局部特征集基于注意力机制编码生成，所述初始候选关键点局部特征集由所述每个候选关键点对应的初始候选关键点局部特征组成，所述初始候选关键点局部特征包括所述候选关键点的位置信息，以及所述候选关键点在所述目标候选对象的外观图像上对应的图像特征；
判定单元，用于当相似的关键点比例超过预设比例阈值时，判定所述待检测对象对所述目标候选对象形成外观侵权。
7.根据权利要求6所述的装置，其特征在于，所述基于注意力机制确定所述每个待检测关键点对应的注意力权重，包括：
针对每个待检测关键点，基于注意力机制确定该待检测关键点与其他各个待检测关键点之间的注意力权重，以及该待检测关键点与各个候选图像关键点之间的注意力权重。
8.一种外观侵权检测模型的训练装置，其特征在于，该装置包括：
样本获取单元，用于获取样本待检测对象的外观图像，以及样本目标候选对象的外观图像；
输入单元，用于将所述样本待检测对象的外观图像以及样本目标候选对象的外观图像输入所述外观侵权检测模型，输出每个样本待检测关键点与每个样本候选关键点之间的相似结果；
迭代单元，用于根据计算出的关键点相似结果对所述外观侵权检测模型进行迭代训练，直至迭代次数达到次数上限或损失函数收敛。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-5中任一项所述方法的步骤。
CN202211097146.3A 2022-09-08 2022-09-08 一种外观侵权的检测方法、装置及存储介质 Pending CN115482398A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211097146.3A CN115482398A (zh) 2022-09-08 2022-09-08 一种外观侵权的检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211097146.3A CN115482398A (zh) 2022-09-08 2022-09-08 一种外观侵权的检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115482398A true CN115482398A (zh) 2022-12-16

Family

ID=84392392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211097146.3A Pending CN115482398A (zh) 2022-09-08 2022-09-08 一种外观侵权的检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115482398A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563400A (zh) * 2023-07-12 2023-08-08 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563400A (zh) * 2023-07-12 2023-08-08 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法
CN116563400B (zh) * 2023-07-12 2023-09-05 南通原力云信息技术有限公司 一种小程序图像信息压缩处理方法

Similar Documents

Publication Publication Date Title
KR100353798B1 (ko) 영상 객체 모양 정보 추출 방법 및 그를 이용한 내용기반 이미지 검색 시스템 및 그 방법
CN106570141B (zh) 近似重复图像检测方法
WO2019184464A1 (zh) 检测近似重复图像
Hu et al. Silco: Show a few images, localize the common object
Chen et al. Discriminative soft bag-of-visual phrase for mobile landmark recognition
Cheraghian et al. Mitigating the hubness problem for zero-shot learning of 3d objects
Singh et al. A study of moment based features on handwritten digit recognition
Liang et al. A hierarchical framework for facial age estimation
JP2011128773A (ja) 画像検索装置、画像検索方法及びプログラム
JP5014479B2 (ja) 画像検索装置、画像検索方法及びプログラム
CN113656660A (zh) 跨模态数据的匹配方法、装置、设备及介质
CN116431847A (zh) 基于多重对比和双路对抗的跨模态哈希检索方法及设备
Csurka et al. From handcrafted to deep local features
Yang et al. Correspondence selection with loose–tight geometric voting for 3-D point cloud registration
CN115482398A (zh) 一种外观侵权的检测方法、装置及存储介质
Lou et al. Multi-scale context attention network for image retrieval
JP6017277B2 (ja) 特徴ベクトルの集合で表されるコンテンツ間の類似度を算出するプログラム、装置及び方法
JP7430254B2 (ja) 場所認識のための視覚的オブジェクトインスタンス記述子
Ding et al. An efficient 3D model retrieval method based on convolutional neural network
CN111008294B (zh) 交通图像处理、图像检索方法及装置
Che et al. Image retrieval by information fusion based on scalable vocabulary tree and robust Hausdorff distance
Peng et al. The knowing camera 2: recognizing and annotating places-of-interest in smartphone photos
Nguyen-Xuan et al. Sketch recognition using lstm with attention mechanism and minimum cost flow algorithm
Joly et al. Unsupervised individual whales identification: spot the difference in the ocean
Wu et al. Similar image retrieval in large-scale trademark databases based on regional and boundary fusion feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination