CN110516734A - 一种图像匹配方法、装置、设备及存储介质 - Google Patents

一种图像匹配方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110516734A
CN110516734A CN201910786185.6A CN201910786185A CN110516734A CN 110516734 A CN110516734 A CN 110516734A CN 201910786185 A CN201910786185 A CN 201910786185A CN 110516734 A CN110516734 A CN 110516734A
Authority
CN
China
Prior art keywords
image
sample
body shape
shape feature
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910786185.6A
Other languages
English (en)
Other versions
CN110516734B (zh
Inventor
侯昊迪
余亭浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910786185.6A priority Critical patent/CN110516734B/zh
Publication of CN110516734A publication Critical patent/CN110516734A/zh
Application granted granted Critical
Publication of CN110516734B publication Critical patent/CN110516734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/752—Contour matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种图像匹配方法、装置、设备及存储介质；该方法包括：获取样本图像；样本图像为用于训练提取图像的主体形状特征的模型的图像；主体形状特征为图像的主体的轮廓所对应的特征；依据待构建主体形状特征提取模型，提取样本图像的主体形状特征，得到样本主体形状特征；基于样本主体形状特征，获取样本图像中图像的主体形状特征差异，得到待构建主体形状特征提取模型的第一损失函数；基于第一损失函数和样本图像，训练待构建主体形状特征提取模型，得到主体形状特征提取模型；主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。通过本发明实施例，能够提升图像匹配的准确度。

Description

一种图像匹配方法、装置、设备及存储介质
技术领域
本发明涉及计算机领域中的图像处理技术，尤其涉及一种图像匹配方法、装置、设备及存储介质。
背景技术
图像匹配是指通过对图像内容、特征、结构、关系、纹理及灰度等信息的分析，寻求相似目标图像的过程。在图像匹配的应用场景中，通常基于像素值实现对待匹配图像的图像匹配处理，由于像素值的粒度细，比如，当对不同风格但主体形状相同或主体类型相同的两张图像进行图像匹配时，所得到的图像匹配结果中存在表征该两张图像不匹配的情况，因此，图像匹配的准确性低。
发明内容
本发明实施例提供一种图像匹配方法、装置及存储介质，能够提升图像匹配的准确度。
本发明实施例的技术方案是这样实现的：
本发明实施例提供一种图像匹配方法，包括：
获取样本图像；所述样本图像为用于训练提取图像的主体形状特征的模型的图像；所述主体形状特征为图像的主体的轮廓所对应的特征；
依据待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到样本主体形状特征；
基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数；
基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型；所述主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
上述方案中，所述基于所述损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型之后，所述方法还包括：
当获取到新的样本图像时，基于所述新的样本图像，优化所述主体形状特征提取模型。
本发明实施例提供一种图像匹配方法，包括：
获取待匹配图像；
基于主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到待匹配主体形状特征；所述主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型；
基于所述主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；所述图像库为用于与所述待匹配图像匹配的图像所构成的集合；
将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果。
上述方案中，所述获取待匹配图像之后，以及所述将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果之前，所述方法还包括：
基于优化后的主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到所述待匹配主体形状特征；所述优化后的主体特征模型为基于获取的新的样本图像对所述主体形状特征提取模型进行优化获得的；
基于所述优化后的主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到所述目标主体形状特征集。
本发明实施例提供一种第一图像匹配装置，包括：
第一图像获取模块，用于获取样本图像；所述样本图像为用于训练提取图像的主体形状特征的模型的图像；所述主体形状特征为图像的主体的轮廓所对应的特征；
第一特征提取模块，用于依据待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到样本主体形状特征；
损失计算模块，用于基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数；
模型训练模块，用于基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型；所述主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
本发明实施例提供一种第二图像匹配装置，包括：
第二图像获取模块，用于获取待匹配图像；
第二特征提取模块，用于基于主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到待匹配主体形状特征；所述主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型；
所述第二特征提取模块，还用于基于所述主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；所述图像库为用于与所述待匹配图像匹配的图像所构成的集合；
图像匹配模块，用于将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果。
本发明实施例提供一种第一图像匹配设备，包括：
第一存储器，用于存储可执行指令；
第一处理器，用于执行所述第一存储器中存储的可执行指令时，实现如上述所述的方法。
本发明实施例提供一种第二图像匹配设备，包括：
第二存储器，用于存储可执行指令；
第二处理器，用于执行所述第二存储器中存储的可执行指令时，实现如上述所述的方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起第一处理器执行时，实现如上述所述的方法。
本发明实施例提供一种存储介质，存储有可执行指令，用于引起第二处理器执行时，实现如上述所述的方法。
本发明实施例具有以下有益效果：由于主体形状特征提取模型是利用样本图像对应的样本主体形状特征训练得到的，用于对图像的主体形状特征进行提取的模型；因此，当获得了主体形状特征提取模型之后，就能够实现根据主体特征完成图像匹配，也就能够有效匹配出与待匹配图像的主体形状或主体轮廓相同的目标图像，所以，图像匹配的准确度高。
附图说明
图1是本发明实施例提供的一种示例性的图像匹配方法流程示意图；
图2是本发明实施例提供的另一种示例性的图像匹配方法流程示意图；
图3是本发明实施例提供的图像匹配系统100的一个可选的架构示意图；
图4是本发明实施例提供的第一图像匹配服务器500的结构示意图；
图5是本发明实施例提供的第二图像匹配服务器200的结构示意图；
图6是本发明实施例提供的图像匹配方法的一个可选的流程示意图；
图7是本发明实施例提供的一种示例性的训练待构建风格变换模型的结构示意图；
图8是本发明实施例提供的一种示例性的风格变换模型的结构示意图；
图9是本发明实施例提供的一种训练待构建风格变换模型的流程示意图；
图10是本发明实施例提供的图像匹配方法的另一个可选的流程示意图；
图11是本发明实施例提供的一种示例性应用的示意图；
图12是本发明实施例提供的另一种示例性应用的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一\第二”的类似描述则增加以下的说明，在以下的描述中，所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本发明实施例所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明实施例中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)，是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
2)机器学习(Machine Learning，ML)，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能；重新组织已有的知识结构使之不断改善自身的性能，是人工智能的核心，是使计算机具有智能性的根本途径。
3)深度学习(Deep Learning，DL)，是机器学习领域中一个新的研究方向；深度学习是学习样本数据的内在规律和表示层次，最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据；深度学习是一个复杂的机器学习算法。
4)损失函数，又称代价函数，是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
5)图像主体，是一张图像的主要表现对象；比如，当一幅图像为对一个人拍得的图像时，该图像所对应的主体为人，当一幅图像为对一座建筑拍得的图像时，该图像所对应的主体为建筑。
一般来说，当对待匹配图像进行图像匹配处理时，所采用的图像匹配算法包括基于图像全局特征的哈希类算法和基于图像局部特征的关键点特征算法。其中，采用基于图像全局特征的哈希类算法对待匹配图像进行图像匹配处理时，参见图1，图1是本发明实施例提供的一种示例性的图像匹配方法流程示意图，如图1所示，图像匹配开始后，首先，对待匹配图像和种子图像进行大小变换处理，得到分别对应的8*8(像素)大小的变换后的待匹配图像和变换后的种子图像；其次，对变换后的待匹配图像和变换后的种子图像进行简化色彩处理，即将变换后的待匹配图像和变换后的种子图像分别对应转换为64级待匹配灰度图像和64级种子灰度图像；再次，计算64级待匹配灰度图像的待匹配灰度均值和64级种子灰度图像的种子灰度均值；然后，将64级待匹配灰度图像中的每个像素点的灰度值与待匹配灰度均值比较，如果64级待匹配灰度图像中的每个像素点的灰度值大于等于待匹配灰度均值记为1，如果64级待匹配灰度图像中的每个像素点的灰度值小于待匹配灰度均值记为0，得到待匹配图像的0/1哈希指纹；同理，将64级种子灰度图像中的每个像素点的灰度值与种子灰度均值比较，如果64级种子灰度图像中的每个像素点的灰度值大于等于种子灰度均值记为1，如果64级种子灰度图像中的每个像素点的灰度值小于灰度均值记为0，得到种子图像的0/1哈希指纹；最后，通过计算待匹配图像的0/1哈希指纹和种子图像的0/1哈希指纹的汉明距离，得到待匹配图像与种子图像的匹配结果，结束图像匹配。
当采用基于图像局部特征的关键点特征算法对待匹配图像进行图像匹配处理时，参见图2，图2是本发明实施例提供的另一种示例性的图像匹配方法流程示意图，如图2所示，图像匹配开始后，首先，对待匹配图像和种子图像进行特征点检测，分别对应得到待匹配特征点和种子特征点；这里，进行特征点检测时，比如，检测待匹配图像和种子图像中的轮廓点、较暗区域的亮点、较亮区域的暗点等显著点。然后，计算待匹配特征点和种子特征点的特征描述子，得到分别对应的待匹配关键点特征指纹和种子关键点特征指纹；这里，计算特征描述子时，根据检测到的特征点区域的中心点与质心点旋转坐标轴，基于旋转后的坐标轴随机选择多个(比如，64个)特征点对，如果在一个特征点对中第一个特征点比第二个特征点的亮度高记为1，而如果在一个特征点对中第一个特征点不比第二个特征点的亮度高记为0，0/1组合就组成了关键点特征指纹。最后，比较待匹配关键点特征指纹和种子关键点特征指纹；这里，通过比较待匹配关键点特征指纹和种子关键点特征指纹的汉明距离实现，确定匹配的特征点，进而得到匹配结果(一般来说，匹配的特征点越多表征待匹配图像和种子图像越相似)，结束图像匹配。
由上可知，无论是基于图像全局特征的哈希类算法还基于图像局部特征的关键点特征算法，都是基于像素值实现对待匹配图像的图像匹配处理的，只能匹配出严格相同的图像，而对于主体形状或主体轮廓相同的图像匹配则无法实现。
此外，随着人工智能技术的研究和进步，人工智能技术在多个领域展开了研究和应用；例如，常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗和智能客服等；随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值；比如，还可以将人工智能应用在图像处理领域。
基于此，本发明实施例提供一种图像匹配方法及装置，能够在人工智能的基础上实现图像匹配处理，提升图像匹配的准确性。另外，本发明实施例提供的方案涉及人工智能的模型构建技术，比如，构建用于提取图像中用于图像匹配的主体形状特征的模型等；具体将在下文进行说明。
这里，需要说明的是，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
下面说明本发明实施例提供的第一图像匹配设备和第二图像匹配设备的示例性应用，本发明实施例提供的设备可以实施为智能手机、平板电脑、笔记本电脑等各种类型的用户终端，也可以实施为服务器。下面，将说明设备实施为服务器时示例性应用。
参见图3，图3是本发明实施例提供的图像匹配系统100的一个可选的架构示意图，为实现支撑一个图像匹配应用，终端400(示例性示出了终端400-1和终端400-2)通过网络300连接第二图像匹配服务器200，而第二图像匹配服务器200与第一图像匹配服务器500连接，网络300可以是广域网或者局域网，又或者是二者的组合。
第二图像匹配服务器200用于通过网络300从终端400获取待匹配图像，并将完成图像匹配生成的处理信息在终端400的图形界面上显示；还用于从第一图像匹配服务器500中获得主体形状特征提取模型对待匹配图像进行主体形状特征的提取来实现基于主体形状的图像匹配方法。
参见图4，图4是本发明实施例提供的第一图像匹配服务器500的结构示意图，图4所示的第一图像匹配服务器500包括：至少一个第一处理器510、第一存储器550、至少一个网络接口520和用户接口530。第一图像匹配服务器500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统540。
第一处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
第一存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的第一存储器550旨在包括任意适合类型的存储器。第一存储器550可选地包括在物理位置上远离第一处理器510的一个或多个存储设备。
在一些实施例中，第一存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
显示模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的装置可以采用软件方式实现，图4示出了存储在第一存储器550中的第一图像匹配装置555，其可以是程序和插件等形式的软件，包括以下软件模块：第一图像获取模块5551、第一特征提取模块5552、损失计算模块5553、模型训练模块5554、目标训练模块5555、优化模块5556，将在下文中说明各个模块的功能。
参见图5，图5是本发明实施例提供的第二图像匹配服务器200的结构示意图，图5所示的第二图像匹配服务器200包括：至少一个第二处理器210、第二存储器250、至少一个网络接口220和用户接口230。第二图像匹配服务器200中的各个组件通过总线系统240耦合在一起。可理解，总线系统240用于实现这些组件之间的连接通信。总线系统240除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图5中将各种总线都标为总线系统240。
第二处理器210可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口230包括使得能够呈现媒体内容的一个或多个输出装置231，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口230还包括一个或多个输入装置232，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
第二存储器250包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器，易失性存储器可以是随机存取存储器。本发明实施例描述的第二存储器250旨在包括任意适合类型的存储器。第二存储器250可选地包括在物理位置上远离第二处理器210的一个或多个存储设备。
在一些实施例中，第二存储器250能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统251，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块252，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备，示例性的网络接口220包括：蓝牙、无线相容性认证、和通用串行总线等；
显示模块253，用于经由一个或多个与用户接口230相关联的输出装置231(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块254，用于对一个或多个来自一个或多个输入装置232之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本发明实施例提供的装置可以采用软件方式实现，图5示出了存储在第二存储器250中的第二图像匹配装置255，其可以是程序和插件等形式的软件，包括以下软件模块：第二图像获取模块2551、第二特征提取模块2552、图像匹配模块2553和处理模块2554，将在下文中说明各个模块的功能。
在另一些实施例中，本发明实施例提供的第一图像匹配装置和第二图像匹配装置可以采用硬件方式实现，作为示例，本发明实施例提供的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的图像匹配方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
将结合本发明实施例提供的服务器的示例性应用和实施，说明本发明实施例提供的图像匹配方法。
参见图6，图6是本发明实施例提供的图像匹配方法的一个可选的流程示意图，将结合图6示出的步骤进行说明。
S101、获取样本图像；样本图像为用于训练提取图像的主体形状特征的模型的图像；主体形状特征为图像的主体的轮廓所对应的特征。
在本发明实施例中，为了通过比较图像的主体形状实现图像匹配，提出了训练用于提取图像的主体形状特征的模型，第一图像匹配设备在开始训练用于提取图像的主体形状特征的模型之前，需要采集用于训练提取图像的主体形状特征的模型的图像，此时，也就获得了样本图像，比如，三元组图像。
需要说明的是，主体形状特征指图像中主体的轮廓所对应的特征，比如，建筑类图像中的建筑的形状特征，人物类图像中的人物的形状特征。
S102、依据待构建主体形状特征提取模型，提取样本图像的主体形状特征，得到样本主体形状特征。
在本发明实施例中，当对用于提取图像的主体形状特征的模型进行训练时，还需要采用人工智能技术，搭建待构建的用于提取图像的主体形状特征的模型，即待构建主体形状特征提取模型。此时，第一图像匹配设备也获取到了样本图像，从而能够依据该待构建主体形状特征提取模型，对样本图像进行主体形状特征的提取，得到样本图像的主体形状特征，即样本主体形状特征。
需要说明的是，待构建主体形状特征提取模型为第一图像匹配设备采用人工智能技术搭建的初始的用于提取图像的主体形状特征的模型架构，比如，基于卷积层、残差网模块、自适应实例归一化技术以及非本地注意力机制的神经网络模型。另外，样本主体形状特征为样本图像的主体的轮廓或形状所对应的特征。
S103、基于样本主体形状特征，获取样本图像中图像的主体形状特征差异，得到待构建主体形状特征提取模型的第一损失函数。
在本发明实施例中，由于待构建主体形状特征提取模型为搭建的初始模型，因此，第一图像匹配设备利用待构建主体形状特征提取模型获得的样本图像所对应的样本主体形状特征，并不是样本图像的实际的主体形状特征；从而，第一图像匹配设备能够基于样本主体形状特征，获取到样本图像的实际的主体形状特征与样本图像的样本主体形状特征之间的差异，此时，也就获得了样本图像中图像的主体形状特征差异，将该主体形状特征差异作为待构建主体形状特征提取模型的第一损失函数。
也就是说，第一损失函数为样本图像的实际的主体形状特征与样本图像的样本主体形状特征之间的差异，在一定程度上表征了待构建主体形状特征提取模的主体形状特征的提取效果，比如，三元组损失。
S104、基于第一损失函数和样本图像，训练待构建主体形状特征提取模型，得到主体形状特征提取模型；主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
在本发明实施例中，当第一图像匹配设备获得了待构建主体形状特征提取模型对样本图像处理的第一损失函数之后，就能够根据该第一损失函数和该样本图像对待构建主体形状特征提取模型进行迭代训练，最终训练得到主体形状特征提取模型。这里，主体形状特征提取模型也就是第一图像匹配设备为了通过比较图像的主体形状实现图像匹配而提出的用于提取图像的主体形状特征的模型。
可以理解的是，第一图像匹配设备通过获取样本图像和搭建待构建主体形状特征提取模型，进而通过样本图像的主体形状特征的提取效果对待构建主体形状特征提取模型进行迭代训练，获得的训练好的模型即主体形状特征提取模型。因此，能够利用主体形状特征提取模型通过比较图像的主体形状准确地实现图像匹配，并且，提升了图像匹配的智能性。
进一步地，在本发明实施例中，S101中图像设备获取样本图像，包括S1011-S1015，其中：
S1011、获取锚样本图像和负样本图像；锚样本图像为用于获取样本图像的基准图像，负样本图像用于与锚样本图像组合为图像间的主体形状差异不低于差异阈值的负样本对。
在本发明实施例中，第一图像匹配设备在获取样本图像时，是先获得锚样本图像的；这里，锚样本图像可以为任意主体所在的图像，当确定了锚样本图像之后，也就能够获得与锚样本图像在主体形状上不相同的负样本图像。也就是说，锚样本图像为用于获取样本图像的基准图像。
需要说明的是，负样本图像用于与锚样本图像组合为图像间的主体形状不相同的负样本对；因此，负样本图像只要与锚样本图像在主体形态上不同的图像就能够作为负样本图像。
S1012、对锚样本图像进行主体检测，得到主体掩膜和背景掩膜。
在本发明实施例中，由于锚样本图像是获取样本图像的基准图像，因此，这里，第一图像匹配设备能够依据锚样本图像获得与锚样本图像在主体形状上相同的正样本图像。首先，第一图像匹配设备通过对锚样本图像的主体进行检测，获得锚样本图像的主体掩膜和背景掩膜；比如，第一图像匹配设备采用鲁棒背景检测算法对锚样本图像的纹理和边界特征进行检测，来获得锚样本图像的主体掩膜和背景掩膜。
需要说明的是，用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理时，用于进行遮挡的选定的图像、图形或物体称为掩模。从而，主体掩膜为锚样本图像的主体所在区域构成的掩膜，背景掩膜为锚样本图像的背景所在区域构成的掩膜。这里，主体掩膜和背景掩膜构成了锚样本图像。
更进一步地，在本发明实施例中，S1012中第一图像匹配设备对锚样本图像进行主体检测，得到主体掩膜和背景掩膜，包括S10121-S10125，包括：
S10121、基于预设主体特征信息，计算锚样本图像的像素点属于主体的概率值，得到主体值信息。
需要说明的是，主体作为图像中的主要表现对象，构成主体的像素点与图像中构成背景的像素点在边缘变化等特征上存在不同，基于此预设主体特征信息，第一图像匹配设备对锚样本图像的像素点属于主体的概率值进行计算，进而得到各个像素点对应的主体值所构成的主体值信息。
S10122、获取主体值信息中大于等于主体阈值的目标主体值信息，将目标主体值信息在锚样本图像中所对应的区域，作为初始主体区域信息。
在本发明实施例中，第一图像匹配设备中预先设置有主体阈值，用于判定像素点是否预估为构成图像的主体的像素点；因此，当第一图像匹配设备获得了锚样本图像的主体值信息之后，就能够根据该主体阈值从主体值信息中选择预估构成图像的主体的像素点所对应的主体值，即目主体值信息；进而该目标主体值信息在锚样本图像中所对应的区域也就构成了图像的主体所在的预估区域，即初始主体区域信息。另外，目标主体值信息为主体值信息中大于等于主体阈值的主体值所构成的集合。
S10123、获取初始主体区域信息对应的面积值信息。
需要说明的是，初始主体区域信息为多个预估主体区域所构成的集合；这里，图片匹配设备对初始主体区域信息中每个区域的面积进行计算，得到对应的面积值信息。也就是说，面积值信息为初始主体区域信息中每个区域的面积值所构成的集合。
S10124、获取面积值信息中的最大面积值，将最大面积值在初始主体区域信息中所对应的区域，作为主体掩膜。
需要说明的是，当获得了初始主体区域信息对应的面积值信息之后，根据先验知识，面积值信息中的最大面积值所对应的区域应为主体部分或主体区域；从而第一图像匹配设备将面积值信息的最大面积值在初始主体区域信息中所对应的区域，作为主体掩膜。
S10125、从锚样本图像中截取未被主体掩膜掩盖的区域，得到背景掩膜。
在本发明实施例中，当确定了锚样本图像中的主体掩膜之后，由于主体掩膜和背景掩膜构成了锚样本图像，因此，从锚样本图像中截取未被主体掩膜掩盖的区域，也就得到了背景掩膜。
可以理解的是，第一图像匹配设备通过获得锚样本图像的主体掩膜和背景掩膜，就能够实现对锚样本图像不同区域的风格变换，丰富了正样本图像，从而也就丰富了样本图像，进而训练得到的主体形状特征提取模型的泛化能力强。
S1013、从背景风格库中选择目标背景风格图像；背景风格库中存储至少一种背景风格的图像，目标背景风格图像为背景风格库中任一种背景风格的图像。
在本发明实施例中，第一图像匹配设备预先设置有背景风格库或者能够获得背景风格库，用于对锚样本图像进行风格变换。这里，由于背景风格库中存储至少一种背景风格的图像，图像图片设备可以从背景风格库中任选一种背景风格所对应的图像作为目标背景风格图像。
需要说明的是，S1013与S1011-S1012在执行顺序上不存在先后；也就是说，可以先执行S1013，再执行S1011-S1012；也可以先执行S1011-S1012，再执行S1013；又可以同时执行S1013与S1011-S1012；还可以交替执行S1013与S1011-S1012；等等，本发明实施例对此不作具体限定。
S1014、依据主体掩膜、背景掩膜和风格变换模型，将锚样本图像的风格变换为目标背景风格的风格，得到正样本图像；风格变换模型用于对图像进行风格变换，正样本图像用于与锚样本图像组合为图像间的主体形状差异低于差异阈值的正样本对。
在本发明实施例中，第一图像匹配设备中预先设置有风格变换模型，用于对图像进行风格变换；从而，当第一图像匹配设备获得了主体掩膜和背景掩膜之后，就能够依据主体掩膜、背景掩膜和风格变换模型对锚样本图像进行风格变换。
这里，第一图像匹配设备在对锚样本图像进行风格变换时，是将锚样本图像的风格变换为目标背景风格的风格；并且，第一图像匹配设备可以利用主体掩膜将锚样本图像的主体进行遮挡，以实现仅将锚样本图像的背景部分的风格转换为目标背景风格的风格；还可以利用背景掩膜将锚样本图像的背景进行遮挡，以实现仅将锚样本图像的主体部分的风格转换为目标背景风格的风格；又可以将锚样本图像的整体的风格都转换为目标背景风格的风格；本发明实施例对此不作具体限定。
需要说明的是，风格变换后的锚样本图像即为正样本图像，用于与锚样本图像组合为图像间的主体形状相同的正样本对。
S1015、将锚样本图像、负样本图像和正样本图像，作为样本图像。
需要说明的是，当第一图像匹配设备获得了锚样本图像、负样本图像和正样本图像之后，也就获得了样本图像；也就是说，样本图像包括锚样本图像、负样本图像和正样本图像，样本图像为主体形状相同的正样本对和主体形状不同的负样本对分别对应的图像所构成的集合。
可以理解的是，当第一图像匹配设备获得了锚样本图像之后，利用风格变换模型对锚样本图像的整幅图、背景部分或主体部分进行风格变换，从而得到与锚样本图像在主体形状上相同或相似而风格却不相同的正样本图像；如此，构造出的样本图像丰富，进而有利用主体形状特征提取模型的训练。
进一步地，在本发明实施例中，S1014中，第一图像匹配设备依据主体掩膜、背景掩膜和风格变换模型，将锚样本图像的风格变换为目标背景风格的风格，得到正样本图像之前，该图像匹配方法还包括训练风格变换模型的过程，即S1016-S1019，其中：
S1016、获取内容样本图像和背景风格样本图像；内容样本图像为用于训练变换图像的风格而不改变主体形状的模型的图像，背景风格样本图像为对内容样本图像进行风格变换所参考的风格对应的图像。
需要说明的是，用于训练风格变换模型的样本包括内容样本图像和背景风格样本图像；因此，第一图像匹配设备在开始训练风格变换模型之前，需要先获取内容样本图像和背景风格样本图像。其中，内容样本图像为用于训练变换图像的风格而不改变主体形状的模型的图像，背景风格样本图像为对内容样本图像进行风格变换所参考的风格对应的图像；因此，这里，第一图像匹配设备可以选择任意主体所在的图像作为内容样本图像，选择任意背景风格的图像作为背景风格样本图像。
S1017、依据待构建风格变换模型，将内容样本图像的风格变换为背景风格样本图像的风格，得到新风格样本图像。
在本发明实施例中，当对用于对图像进行风格变换的模型进行训练时，还需要采用人工智能技术，搭建待构建的用于对图像进行风格变换的模型，即待构建风格变换模型。此时，第一图像匹配设备也获得了内容样本图像和背景风格样本图像，从而能够依据待构建风格变换模型，将内容样本图像的风格变换为背景风格样本图像的风格，得到风格变换后的内容样本图像，即新风格样本图像。
更进一步地，在本发明实施例中，当待构建风格变换模型包括编码模型、归一化模型和解码模型时，S1017中第一图像匹配设备依据待构建风格变换模型，将内容样本图像的风格变换为背景风格样本图像的风格，得到新风格样本图像，包括S10171-S10174，其中：
S10171、依据编码模型，提取内容样本图像的深度特征，得到待变换样本深度特征。
在本发明实施例中，待构建风格变换模型包括编码模型、归一化模型和解码模型。其中，编码模型用于对内容样本图像进行深度特征的提取，从而得到与内容样本图像对应的待变换样本深度特征。这里，编码模型为将图像向特征空间转换的模型，比如，神经网络模型VGG(Visual Geometry Group)中的编码器；深度特征表征图像用于进行计算的特征信息。
S10172、依据编码模型，提取背景风格样本图像的深度特征，得到背景风格样本深度特征。
另外，编码模型还用于对背景风格样本图像进行深度特征的提取，得到与背景风格样本图像对应的背景风格样本深度特征。
S10173、依据归一化模型，对待变换样本深度特征和背景风格样本深度特征进行特征分布的归一化处理，得到新风格样本深度特征。
在本发明实施例中，当第一图像匹配设备获得了待变换样本深度特征和背景风格样本深度特征之后，就能通过归一化模型对待变换样本深度特征和背景风格样本深度特征进行特征分布的归一化处理，即将内容样本图像的深度特征归一化为背景风格样本图像的深度特征的分布；此时，也就获得了新风格样本深度特征。
更进一步地，在本发明实施例中，S10173中第一图像匹配设备依据归一化模型，对待变换样本深度特征和背景风格样本深度特征进行特征分布的归一化处理，得到新风格样本深度特征，包括S10173a-S10173c，其中：
S10173a、获取样本主体深度特征的高，得到主体特征图高，以及获取样本主体深度特征的宽，得到主体特征图宽。
在本发明实施例中，第一图像匹配设备利用待变换样本深度特征和背景风格样本深度特征分别对应的特征高宽，来进行特征分布的归一化处理。
需要说明的是，对于样本主体深度特征，第一图像匹配设备将样本主体深度特征的高作为主体特征图高，将样本主体深度特征的宽作为主体特征图宽。
S10173b、获取背景风格样本深度特征的高，得到风格特征图高，以及获取背景风格样本的宽，得到风格特征图宽。
需要说明的是，对于背景风格样本深度特征，第一图像匹配设备将背景风格样本深度特征的高作为风格特征图高，将背景风格样本深度特征的宽作为风格特征图宽。
S10173c、依据归一化模型，以及特征图通道数、主体特征图高和主体特征图宽、风格特征图高和风格特征图宽进行特征分布的归一化处理，得到新风格样本深度特征。
需要说明的是，第一图像匹配设备还可以进一步利用卷积核数量即特征图通道数和样本总数量，依据归一化模型，以及特征图通道数、主体特征图高和主体特征图宽、风格特征图高和风格特征图宽进行特征分布的归一化处理，得到新风格样本深度特征。
示例性地，新风格样本深度特征AdaIN(x,y)如式(1)所示：
其中，x为样本主体深度特征，y为背景风格样本深度特征；这里，μ(x)为样本主体深度特征的均值，通过式(2)获得；σ(x)为样本主体深度特征的标准差，通过式(2)-(3)获得；μ(y)为背景风格样本深度特征的均值，通过式(4)获得；σ(y)为背景风格样本深度特征的标准差，通过式(4)-(5)获得。式(2)-(5)如下所示：
其中，H为主体特征图高，W为主体特征图宽，h和w为计数变量。
其中，∈1为一个值较小的常量。
其中，U为背景特征图高，V为背景特征图宽，u和v为计数变量。
其中，∈2同样为一个值较小的常量，可以与∈1相等。
S10174、依据解码模型，解码新风格样本深度特征，得到新风格样本图像。
需要说明的是，解码模型与编码模型的作用相反，用于将特征空间的特征转化为图像，比如，神经网络模型VGG(Visual Geometry Group)中的解码器；因此，当第一图像匹配设备获得了新风格样本深度特征之后，依据解码模型，对新风格样本深度特征进行解码，解码后的信息即新风格样本图像。
示例性地，参见图7，图7是本发明实施例提供的一种示例性的训练待构建风格变换模型的结构示意图；如图7所示，7-1为内容样本图像，7-2为背景风格样本图像，待构建风格变换模型7-3为基于自适应实例归一化的神经网络模型VGG模型，包括编码器7-31、自适应实例归一化模块7-32和解码器7-33(分别对应本发明实施例中的编码模型、归一化模型和解码模型)。首先，7-1经过编码器7-31得到待变换样本深度特征x，7-2经过编码器得到背景风格样本深度特征y。然后，通过自适应实例归一化模块将x和y进程归一化处理，得到新风格样本深度特征z。再后，解码器对z进行解码，也就获得了新风格样本图像7-4。最后，利用编码器对内容样本图像7-1和新风格样本图像7-4分别进行深度特征提取和特征差异计算获得内容差异Lc，并利用编码器对背景风格样本图像7-2和新风格样本图像7-4分别进行深度特征提取和特征差异计算获得风格差异Ls，进而利用Lc和Ls对待构建风格变换模型的训练。
继续参见图8，图8是本发明实施例提供的一种示例性的风格变换模型的结构示意图；如图8所示，该风格变换模型8-1包括卷积层8-11(Convolutional Layer)、池化层8-12(Pooling Layer)和全连接层8-13(Fully Connect Layer)；其中，卷积层8-11和池化层8-12是交替多次重复设置的，全连接层8-13的数量也为多个；当将i1幅大小为224*224的RGB(Red Green Blue，红绿蓝)3通道图片8-2输入到该风格变换模型中，就能够得到对应的深度特征i1*224*224*3。
S1018、获取内容样本图像和新风格样本图像的内容差异，以及背景风格样本图像和新风格样本图像的风格差异，得到风格变换损失函数。
在本发明实施例中，由于新风格样本图像具有内容样本图像的内容信息和背景风格样本图像的风格信息；因此，为了确定待构建风格变换模型的风格变换效果和训练待构建风格变换模型，当第一图像匹配设备获得新风格样本图像之后，通过获取新风格样本图像与内容样本图像在内容上的特征差异即内容差异，以及新风格样本图像与背景样本图像在风格上的特征差异即风格差异，也就获得了风格变换损失函数；该风格变换损失函数为用于训练待构建风格变换模型的训练信息，且在一定程度上表征了待构建风格变换模型的训练效果。
需要说明的是，待构建风格变换模型为第一图像匹配设备采用人工智能技术搭建的初始的用于变换图像的风格的模型架构；比如，循环一致生成对抗网络以及基于自适应实例归一化技术的无监督多模态图像转换模型。
S1019、基于风格变换损失函数、内容样本图像和背景风格样本图像，训练待构建风格变换模型，得到风格变换模型。
在本发明实施例中，当第一图像匹配设备获得了风格变换损失函数之后，利用该风格变换损失函数对待构建风格变换模型进行参数调整，并用调整后的待构建风格变换模型内容样本图像和背景风格样本图像进行模型的迭代训练，最终得到训练好的风格变换模型。
进一步地，在本发明实施例中，在S103中，第一图像匹配设备基于样本主体形状特征，获取样本图像中图像的主体形状特征差异，得到待构建主体形状特征提取模型的第一损失函数，包括S1031-S1034，其中：
S1031、从样本主体形状特征中，获取锚样本主体形状特征、正样本主体形状特征和负样本主体形状特征。
需要说明的是，由于样本图像中包括了锚样本图像、正样本图像和负样本图像；因此，相应的样本主体形状特征中，包括与锚样本图像对应的样本主体形状特征即锚样本主体形状特征、与正样本图像对应的主体形状特征即正样本主体形状特征、以及与负样本图像对应的主体形状特征即负样本主体形状特征。
S1032、获取锚样本主体形状特征和正样本主体形状特征的特征差异，得到样本图像的正样本对距离信息。
在本发明实施例中，由于锚样本图像与正样本图像在主体形状上相同或相似，锚样本图像与负样本图像在主体形状上不相同或不相似；因此，为了能使待构建主体形状特征提取模型学得锚样本图像与正样本图像之间的距离较小，而锚样本图像与负样本图像之间的距离较大，第一图像匹配设备利用锚样本图像、正样本图像和负样本图像对应的三元组损失训练该构建主体形状特征提取模型。
这里，锚样本图像与正样本图像之间的距离用锚样本主体形状特征和正样本主体形状特征的特征差异来衡量，称为样本图像的正样本对距离信息。
S1033、获取锚样本主体形状特征和负样本主体形状特征的特征差异，得到样本图像的负样本对距离信息。
这里，锚样本图像与负样本图像之间的距离用锚样本主体形状特征和负样本主体形状特征的特征差异来衡量，称为样本图像的负样本对距离信息。
S1034、将正样本对距离信息和负样本对距离信息的距离差值，与预设间隔参数的和，作为主体形状特征差异，从而得到待构建主体形状特征提取模型的第一损失函数。
在本发明实施例中，第一图像匹配设备中预先设置有预设间隔参数，作为衡量正样本对距离信息与负样本对距离信息的理想差值。从而，第一图像匹配设备在计算待构建主体形状特征提取模型的第一损失函数时，将正样本对距离信息和负样本对距离信息的距离差值，再与预设间隔参数相加，所得到的结果也就是主体形状特征差异，即第一损失函数。
示例性地，第一损失函数Ltriplet如式(6)所示，
Ltriplet＝dist(ca，cp)-dist(ca，cn)+m (6)
其中，ca为锚样本主体形状特征，cp为正样本主体形状特征，cn为负样本主体形状特征，m为预设间隔参数(比如，0.2)。
进一步地，在本发明实施例中，在S104中，第一图像匹配设备基于第一损失函数和样本图像，训练待构建主体形状特征提取模型，得到主体形状特征提取模型，包括S1041-S1044，其中：
S1041、根据第一损失函数，调整待构建主体形状特征提取模型的参数信息。
需要说明的是，第一图像匹配设备在利用第一损失函数对待构建主体形状特征提取模型进行训练时，通过第一损失函数进行反向传播，调整待构建主体形状特征提取模型的参数信息。
S1042、基于调整后的待构建主体形状特征提取模型，提取样本图像的主体形状特征，得到优化样本主体形状特征。
在本发明实施例中，第一图像匹配设备再次利用调整后的待构建主体形状特征提取模型对样本图像的主体形状特征进行提取，得到优化样本主体形状特征。
需要说明的时，由于调整后的待构建主体形状特征提取模型相比于待构建主体形状特征提取模型，在主体形状特征的提取上效果更好，从而优化样本主体形状特征相比于样本主体形状特征的准确度更高。
S1043、基于优化样本主体形状特征，获取样本图像中图像的优化主体形状特征差异，得到调整后的待构建主体形状特征提取模型的第二损失函数。
在本发明实施例中，与第一图像匹配设备基于样本主体形状特征获取第一损失函数的过程一致；此时，第一图像匹配设备能够基于优化样本主体形状特征，获取样本图像中图像的优化主体形状特征差异，从而计算出调整后的待构建主体形状特征提取模型的第二损失函数。
S1044、基于第二损失函数和样本图像，训练调整后的待构建主体形状特征提取模型，直到满足训练结束条件时，将训练的调整后的待构建主体形状特征提取模型作为主体形状特征提取模型。
在本发明实施例中，主体形状特征提取模型的获得过程是通过模型的迭代训练获得的，迭代训练的过程为通过第一损失函数、第二损失函数……不停的调整模型的参数信息，直到训练的调整后的待构建主体形状特征提取模型收敛或训练的调整后的待构建主体形状特征提取模型对应的损失函数在预设阈值范围时，确定满足训练结束条件；此时的训练的调整后的待构建主体形状特征提取模型也就为主体形状特征提取模型。
可以理解的是，通过学习正样本对之间的距离小而负样本对之间的距离大这一特性得到的主体形状特征提取模型，在面对主体形状特征相似的待匹配图像与种子图像时，所分别提取到的主体形状特征之间的差异小于等于特征差阈值；而在面对主体形状特征不相似的待匹配图像与种子图像时，所分别提取到的主体形状特征之间的差异大于特征差阈值也不相似；如此，也就能够实现根据主体形状进行图片匹配处理。
进一步地，在本发明实施例中，S103中第一图像匹配设备基于样本主体形状特征，获取样本图像中图像的主体形状特征差异，得到待构建主体形状特征提取模型的第一损失函数之后，该图像匹配方法还包括S105-S106，其中：
S105、基于第一损失函数，获取目标样本图像；目标样本图像与样本图像在图像间的主体形状的特征差异上低于特征差异阈值。
在本发明实施例中，第一损失函数除了用于对待构建主体形状特征提取模型进行参数信息调整之外，还用于获取针对性的样本图像，即目标样本图像。也就是说，第一图像匹配设备能够根据第一损失函数确定待构建主体形状特征提取模型的训练效果进行主体形状特征提取模型的训练样本的构建；如果该训练效果大于效果阈值，表征训练效果差，此时，可以构造与样本图像在图像间的主体形状的特征差异上相同的目标样本图像对模型进行针对性训练。
S106、基于目标样本图像，训练待构建主体形状特征提取模型。
可以理解的是，由于目标样本图像为第一图像匹配设备构造出的针对性的样本图像，从而通过目标样本图像对待构建主体形状特征提取模型进行训练，能够加速模型的收敛，提高获得主体形状特征提取模型的效率。
需要说明的是，本发明实施例中训练数据构造与模型训练相结合的联动训练方式，同样适用于其他业务场景的模型训练，例如，进行人脸识别模型的训练、自然语言理解中词向量的训练等。
进一步地，在本发明实施例中，S104中第一图像匹配设备基于损失函数和样本图像，训练待构建主体形状特征提取模型，得到主体形状特征提取模型之后，该图像匹配方法还包括S107，其中：
S107、当获取到新的样本图像时，基于新的样本图像，优化主体形状特征提取模型。
在本发明实施例中，当获得了主体形状特征提取模型之后，如果此时获得了新的样本图像，仍能够基于新的样本图像对主体形状特征提取模型进行优化，该优化过程同获得主体特征提取模型的训练过程，本发明实施例在此不再赘述。
可以理解的是，第一图像匹配设备通过不断对主体形状特征提取模型进行优化，能够提升优化后的主体形状特征提取模型的泛化能力，进而采用优化后的主体形状特征提取模型实现图像匹配时，能够进一步提升图像匹配的准确度。
参见图9，图9是本发明实施例提供的一种训练待构建风格变换模型的流程示意图；如图9所示，获得了锚样本图像和负样本图像之后，将锚样本图像和目标风格背景图像通过风格变换模型得到正样本图像，完成训练样本(样本图像或目标样本图像)的构造；此时，利用训练中的主体形状特征模型(待构建主体形状特征提取模型或调整后的主体形状特征提取模型)对训练样本提取主体形状特征，并基于提取到的主体形状特征计算三元组损失(第一损失函数、第二损失函数…)，基于该三元组损失训练得到主体形状特征模型；另外，还可以基于该三元组损失构造训练样本。
继续参见图10，图10是本发明实施例提供的图像匹配方法的另一个可选的流程示意图，将结合图10示出的步骤进行说明。
S201、获取待匹配图像。
在本发明实施例中，当第二图像匹配设备对一张图像与其他图像进行图像匹配处理即从多张图像构成的集合中搜索与这一张图像匹配或相似的图像时，这一张图像即待匹配图像；比如，待发布的图像或用户多次查看的图像等。
这里，待匹配图像是终端向第二图像匹配设备发送的图像。比如，在用户进行广告图片投放时，用户通过终端上传该广告图片，此时，终端也就完成了将广告图像向第二图像匹配设备的发送，第二图像匹配设备也就获得作为待匹配图像的该广告图像；又比如，在用户浏览视频时，终端将用户浏览的视频对应的图像发送至第二图像匹配设备，此时，第二图像匹配设备也就获得了作为待匹配图像的该视频对应的图像。
S202、基于主体形状特征提取模型，提取待匹配图像的主体形状特征，得到待匹配主体形状特征；主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型。
在本发明实施例中，第一图像匹配设备已基于图像的主体形状特征训练好了用于提取图像的主体形状特征的模型即主体形状特征提取模型；此时，第二图像匹配设备与第一图像匹配设备进行通信来获得主体形状特征提取模型；从而利用主体形状特征模型，对待匹配图像的主体形状特征进行提取，从而得到待匹配主体形状特征，该待匹配主体形状特征即待匹配图像的主体形状特征。
S203、基于主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；图像库为用于与待匹配图像匹配的图像所构成的集合。
在本发明实施例中，第二图像匹配设备中预先设置有图像库或能够获取到图像库；此时，利用主体形状特征提取模型对该图像库中的每张图像进行主体形状特征的提取，图像库中每张图像的主体形状特征也就构成了目标主体形状特征集。这里，图像库为用于与待匹配图像进行图像匹配的图像所构成的集合。
S204、将待匹配主体形状特征与目标主体形状特征集中的每个目标主体形状特征进行匹配，得到图像匹配结果。
在本发明实施例中，第二图像匹配设备在进行图像匹配时，将将待匹配主体形状特征与目标主体形状特征集中的每个目标主体形状特征一一匹配来获得图像匹配结果。
需要说明的是，图像匹配结果包括待匹配图像与图像库中匹配的图像，和/或，待匹配图像与图像库中不匹配的图像。这里，匹配指两幅图像的主体形状特征的差异小于等于匹配阈值，不匹配值两幅图像的主体形状特征的差异大于匹配阈值。
进一步地，在本发明实施例中，在S201获取待匹配图像之后，以及S204将待匹配主体形状特征与目标主体形状特征集中的每个目标主体形状特征进行匹配，得到图像匹配结果之前，该图像匹配方法还包括：基于优化后的主体形状特征提取模型，提取待匹配图像的主体形状特征，得到待匹配主体形状特征；优化后的主体特征模型为基于获取的新的样本图像对主体形状特征提取模型进行优化获得的；以及基于优化后的主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集。
也就是说，第二图像匹配设备采用实时优化的主体形状特征提取模型进行主体形状特征的提取；如此，提升了获得的主体形状特征的准确性，进而提升了图像匹配的准确度。
进一步地，在本发明实施例中，S204中图像匹配设备将待匹配主体形状特征与目标主体形状特征集中的每个目标主体形状特征进行匹配，得到图像匹配结果之后，该图像匹配方法还包括S205-S206：
S205、基于图像匹配结果，对待匹配图像进行处理，生成处理信息。
需要说明的是，当获得了图像匹配结果之后，也就明确了图像库中是否存在与待匹配图像匹配的图像，从而也就明确了对待匹配图像进行的处理，此时生成对应的处理信息。
更进一步地，在本发明实施例中，当待匹配图像为待发布图像时，S205中第二图像匹配设备基于图像匹配结果，对待匹配图像进行处理，生成处理信息，包括以下两种情况：一种情况是，当图像匹配结果表征图像库中不存在与待匹配图像所匹配的目标图像时，发布待发布图像，生成待匹配图像的审核通过信息，并将审核通过信息作为待匹配图像的处理信息；另一种情况是，当匹配结果表征图像库中存在与待匹配图像所匹配的目标图像时，不发布待发布图像，生成待匹配图像的审核未通过信息，并将审核未通过信息作为待匹配图像的处理信息。
这里，待发布图像为发布者在发布之前进行审核的图像。
可以理解的是，当用户上传或发布图文、视频内容后，首先对其中的图像内容进行主体形状特征提取，然后与不良内容种子库中的内容进行匹配识别，若识别为不良内容则进行驳回，反之则允许发布。实现了针对图像主体形状进行相似度匹配，能够有效的对不良内容进行匹配，提高不良内容审核的效率和准确率，提高审核的准确率和召回率，改善用户体验。
更进一步地，在本发明实施例中，当待匹配图像为已查看图像时，S205中第二图像匹配设备基于图像匹配结果，对待匹配图像进行处理，生成处理信息，也包括两种情况：一种情况是，当图像匹配结果表征图像库中存在与待匹配图像所匹配的目标图像时，向待匹配图像推荐目标信息，将显示目标图像的操作信息作为处理信息；另一种情况是，当匹配结果表征图像库中不存在与待匹配图像所匹配的目标图像时，结束匹配流程，生成待匹配图像的结束匹配流程信息，将结束匹配流程信息作为处理信息。
这里，已查看图像为接收到查看操作的图像。
可以理解的是，当用户频繁浏览某一类图文、视频内容时，第二图像匹配设备对用户喜欢的图像内容进行主体形状特征提取，并从线上内容中搜索匹配相似的图像内容由推荐系统进行推荐。通过本本发明实施例提供的图片匹配方法应用于相似图像内容检索，辅助推荐系统查找相似内容进行推荐，能够有效提高用户的点击率。
S206、将处理信息发送至终端。
需要说明的是，第二图像匹配设备将处理信息作为接收待匹配图像信息的反馈信息，发送至终端，以使终端显示该处理信息；比如，当第二图像匹配设备确定对待匹配图像进行发布时，向终端发送的处理信息为待匹配图像发布成功的提示信息，此时，终端显示该已成功发布的待匹配图像以提示待匹配图像成功发布；又比如，当第二图像匹配设备确定对待匹配图像进行驳回发布时，向终端发送的处理信息为待匹配图像审核未通过的提示信息，此时，终端显示该审核未通过的提示信息和原因；再比如，当第二图像匹配设备确定推荐与待匹配图像有关的推荐信息时，向终端发送的处理信息为显示该推荐信息的处理操作，此时，终端在推荐区域显示推荐信息；还比如，当第二图像匹配设备确定对待匹配图像不进行推荐信息而结束匹配流程时，向终端发送的处理信息为不显示推荐信息，此时，终端在推荐区域不显示任何推荐信息；等等。
下面，将说明本发明实施例在实际的应用场景中的示例性应用。
参见图11，图11是本发明实施例提供的一种示例性应用的示意图；如图11所示，用户在终端发布图像11-1，此时，第二图像匹配设备也就明确了图像11-1为待匹配图像；第二图像匹配设备从第一图像匹配设备中获得主体形状特征提取模型来对图像11-1进行主体形状特征提取得到待匹配主体形状特征，并对不良内容种子库即图像库中的每张图像进行主体形状特征提取，得到目标主体形状特征集合；将待匹配主体形状特征与目标主体形状特征集合中的每个目标主体形状特征进行识别匹配，判断是否匹配出了不良内容种子图像，如果此时匹配出了不良内容种子图像(目标图像)，将驳回用户发布图像11-1的请求；否则，发布该图像11-1，并向终端反馈发布成功信息并显示已成功发布的图像11-1。
这里，以通过图像匹配对待发布信息进行审核的场景继续进行示例性说明。比如，当视频发布者要发布的待发布信息为一个视频时，首先，第二图像匹配设备能够获取到该视频对应的图像(待匹配图像)，可以是从该视频中随机抽取的图像，也可以是该视频中指定的图像；然后，第二图像匹配设备利用主体形状特征提取模型提取该视频对应的图像的主体形状特征，并基于该视频对应的图像的主体形状特征与不良内容种子库进行识别匹配，如果匹配出与该视频对应的图像匹配的不良内容，则拒绝视频发布者所发布的该视频；而如果未匹配出与该视频对应的图像匹配的不良内容，则发布视频发布者所发布的该视频。
参见图12，图12是本发明实施例提供的另一种示例性应用的示意图；如图12所示，用户在终端多次点击图像12-1，此时，第二图像匹配设备也就明确了图像12-1为待匹配图像；第二图像匹配设备从第一图像匹配设备中获得主体形状特征提取模型来对图像12-1进行主体形状特征提取得到待匹配主体形状特征，并对线上内容库即图像库中的每张图像进行主体形状特征提取，得到目标主体形状特征集合；将待匹配主体形状特征与目标主体形状特征集合中的每个目标主体形状特征进行搜索匹配，判断是否匹配出了相似内容种子图像，如果此时匹配出了相似的线上内容(目标图像)，向用户推荐该线上内容；否则，结束图像匹配流程。
这里，以通过图像匹配推荐与用户感兴趣的信息相似的推荐信息的场景继续进行示例性说明。比如，当监测到用户点击了某个视频之后，首先，第二图像匹配设备将点击的视频对应的图像(可以是从该点击的视频中随机抽取的图像，也可以是该点击的视频中指定的图像)作为待匹配图像；然后，第二图像匹配设备利用主体形状特征提取模型提取该点击的视频对应的图像的主体形状特征，并基于该点击视频对应的图像的主体形状特征与线上内容库进行搜索匹配，如果匹配出与该点击的视频对应的图像匹配的线上内容，则通过终端的推荐区域显示该线上内容；而如果未匹配出与该视频对应的图像匹配的线上内容，则在终端的推荐区域不显示任何推荐信息。
可以理解的是，通过本发明实施例提出的图像匹配方法，实现了基于图像的主体形状进行图像匹配的过程，使得能够有效匹配出主体形状相同与相似的图像；进而当将该图像匹配方法应用于审核系统或推荐系统中时，由于能够通过待审核信息或待推荐信息的主体形状确定审核结果或推荐内容，因此，提升了审核效率，提升了推荐效果。
下面继续说明本发明实施例提供的第一图像匹配装置555的实施为软件模块的示例性结构，在一些实施例中，如图4所示，存储在第一存储器550的第一图像匹配装置555中的软件模块可以包括：
第一图像获取模块5551，用于获取样本图像；所述样本图像为用于训练提取图像的主体形状特征的模型的图像；所述主体形状特征为图像的主体的轮廓所对应的特征；
第一特征提取模块5552，用于依据待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到样本主体形状特征；
损失计算模块5553，用于基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数；
模型训练模块5554，用于基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型；所述主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
进一步地，所述第一图像获取模块5551，还用于获取锚样本图像和负样本图像；所述锚样本图像为用于获取所述样本图像的基准图像，所述负样本图像用于与所述锚样本图像组合为图像间的主体形状差异不低于差异阈值的负样本对；对所述锚样本图像进行主体检测，得到主体掩膜和背景掩膜；从背景风格库中选择目标背景风格图像；所述背景风格库中存储至少一种背景风格的图像，所述目标背景风格图像为所述背景风格库中任一种背景风格的图像；依据所述主体掩膜、所述背景掩膜和风格变换模型，将所述锚样本图像的风格变换为所述目标背景风格的风格，得到正样本图像；所述风格变换模型用于对图像进行风格变换，所述正样本图像用于与所述锚样本图像组合为图像间的主体形状差异低于所述差异阈值的正样本对；将所述锚样本图像、所述负样本图像和所述正样本图像，作为所述样本图像。
进一步地，所述第一图像获取模块5551，还用于基于预设主体特征信息，计算所述锚样本图像的像素点属于主体的概率值，得到主体值信息；获取所述主体值信息中大于等于主体阈值的目标主体值信息，将所述目标主体值信息在所述锚样本图像中所对应的区域，作为初始主体区域信息；获取所述初始主体区域信息对应的面积值信息；获取面积值信息中的最大面积值，将所述最大面积值在所述初始主体区域信息中所对应的区域，作为所述主体掩膜；从所述锚样本图像中截取未被所述主体掩膜掩盖的区域，得到所述背景掩膜。
进一步地，所述第一图像获取模块5551，还用于获取内容样本图像和背景风格样本图像；所述内容样本图像为用于训练变换图像的风格而不改变主体形状的模型的图像，所述背景风格样本图像为对所述内容样本图像进行风格变换所参考的风格对应的图像；依据待构建风格变换模型，将所述内容样本图像的风格变换为所述背景风格样本图像的风格，得到新风格样本图像；获取所述内容样本图像和所述新风格样本图像的内容差异，以及所述背景风格样本图像和所述新风格样本图像的风格差异，得到风格变换损失函数；基于所述风格变换损失函数、所述内容样本图像和所述背景风格样本图像，训练所述待构建风格变换模型，得到所述风格变换模型。
进一步地，所述第一图像获取模块5551，还用于依据所述编码模型，提取所述内容样本图像的深度特征，得到待变换样本深度特征；依据所述编码模型，提取所述背景风格样本图像的深度特征，得到背景风格样本深度特征；依据所述归一化模型，对所述待变换样本深度特征和所述背景风格样本深度特征进行特征分布的归一化处理，得到新风格样本深度特征；依据所述解码模型，解码所述新风格样本深度特征，得到所述新风格样本图像。
进一步地，所述第一图像获取模块5551，还用于获取所述样本主体深度特征的高，得到主体特征图高，以及获取所述样本主体深度特征的宽，得到主体特征图宽；获取所述背景风格样本深度特征的高，得到风格特征图高，以及获取所述背景风格样本的宽，得到风格特征图宽；依据所述归一化模型，以及所述主体特征图高、所述主体特征图宽、所述风格特征图高和所述风格特征图宽进行特征分布的归一化处理，得到所述新风格样本深度特征。
进一步地，所述损失计算模块5553，还用于从所述样本主体形状特征中，获取锚样本主体形状特征、正样本主体形状特征和负样本主体形状特征；获取所述锚样本主体形状特征和所述正样本主体形状特征的特征差异，得到所述样本图像的正样本对距离信息；获取所述锚样本主体形状特征和所述负样本主体形状特征的特征差异，得到所述样本图像的负样本对距离信息；将所述正样本对距离信息和所述负样本对距离信息的距离差值，与预设间隔参数的和，作为所述主体形状特征差异，从而得到所述待构建主体形状特征提取模型的所述第一损失函数。
进一步地，所述模型训练模块5554，还用于根据所述第一损失函数，调整所述待构建主体形状特征提取模型的参数信息；基于调整后的待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到优化样本主体形状特征；基于所述优化样本主体形状特征，获取所述样本图像中图像的优化主体形状特征差异，得到所述调整后的待构建主体形状特征提取模型的第二损失函数；基于所述第二损失函数和所述样本图像，训练所述调整后的待构建主体形状特征提取模型，直到满足训练结束条件时，将训练的调整后的待构建主体形状特征提取模型作为所述主体形状特征提取模型。
进一步地，所述第一图像匹配装置555还包括目标训练模块5555，用于基于所述第一损失函数，获取目标样本图像；所述目标样本图像与所述样本图像在图像间的主体形状的特征差异上低于特征差异阈值；基于所述目标样本图像，训练所述待构建主体形状特征提取模型。
进一步地，所述第一图像匹配装置555还包括优化模块5556，用于当获取到新的样本图像时，基于所述新的样本图像，优化所述主体形状特征提取模型。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被第一处理器510执行时，将引起第一处理器510执行本发明实施例提供的方法，例如，如图6示出的方法。
下面继续说明本发明实施例提供的第二图像匹配装置255的实施为软件模块的示例性结构，在一些实施例中，如图5所示，存储在第二存储器250的第二图像匹配装置255中的软件模块可以包括：
第二图像获取模块2551，用于获取待匹配图像；
第二特征提取模块2552，用于基于主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到待匹配主体形状特征；所述主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型；
所述第二特征提取模块2552，还用于基于所述主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；所述图像库为用于与所述待匹配图像匹配的图像所构成的集合；
图像匹配模块2553，用于将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果。
进一步地，所述第二图像匹配装置255还包括处理模块2554，用于基于所述图像匹配结果，对所述待匹配图像进行处理，生成处理信息；将所述处理信息发送至所述终端。
进一步地，所述处理模块2554，还用于当所述图像匹配结果表征所述图像库中不存在与所述待匹配图像所匹配的目标图像时，发布所述待发布图像，生成所述待匹配图像的审核通过信息，并将所述审核通过信息作为所述待匹配图像的所述处理信息；当所述图像匹配结果表征所述图像库中存在与所述待匹配图像所匹配的目标图像时，不发布所述待发布图像，生成所述待匹配图像的审核未通过信息，并将所述审核未通过信息作为所述待匹配图像的所述处理信息。
进一步地，所述处理模块2554，还用于当所述图像匹配结果表征所述图像库中存在与所述待匹配图像所匹配的目标图像时，向所述待匹配图像推荐所述目标信息，将显示所述目标图像的操作信息作为所述处理信息；当所述图像匹配结果表征所述图像库中不存在与所述待匹配图像所匹配的目标图像时，结束匹配流程，生成所述待匹配图像的结束匹配流程信息，将所述结束匹配流程信息作为所述处理信息。
进一步地，所述第二特征提取模块2552，还用于基于优化后的主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到所述待匹配主体形状特征；所述优化后的主体特征模型为基于获取的新的样本图像对所述主体形状特征提取模型进行优化获得的；基于所述优化后的主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到所述目标主体形状特征集。
本发明实施例提供一种存储有可执行指令的存储介质，其中存储有可执行指令，当可执行指令被第二处理器210执行时，将引起第二处理器210执行本发明实施例提供的方法，例如，如图10示出的方法。
在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述，通过本发明实施例，由于主体形状特征提取模型是利用样本图像对应的样本主体形状特征训练得到的，用于对图像的主体形状特征进行提取的模型；因此，当获得了主体形状特征提取模型之后，就能够实现根据主体特征完成图像匹配，也就能够有效匹配出与待匹配图像的主体形状或主体轮廓相同的目标图像，所以，图像匹配的准确度高。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (15)

1.一种图像匹配方法，其特征在于，包括：
获取样本图像；所述样本图像为用于训练提取图像的主体形状特征的模型的图像；所述主体形状特征为图像的主体的轮廓所对应的特征；
依据待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到样本主体形状特征；
基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数；
基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型；所述主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
2.根据权利要求1所述的方法，其特征在于，所述获取样本图像，包括：
获取锚样本图像和负样本图像；所述锚样本图像为用于获取所述样本图像的基准图像，所述负样本图像用于与所述锚样本图像组合为图像间的主体形状差异不低于差异阈值的负样本对；
对所述锚样本图像进行主体检测，得到主体掩膜和背景掩膜；
从背景风格库中选择目标背景风格图像；所述背景风格库中存储至少一种背景风格的图像，所述目标背景风格图像为所述背景风格库中任一种背景风格的图像；
依据所述主体掩膜、所述背景掩膜和风格变换模型，将所述锚样本图像的风格变换为所述目标背景风格的风格，得到正样本图像；所述风格变换模型用于对图像进行风格变换，所述正样本图像用于与所述锚样本图像组合为图像间的主体形状差异低于所述差异阈值的正样本对；
将所述锚样本图像、所述负样本图像和所述正样本图像，作为所述样本图像。
3.根据权利要求2所述的方法，其特征在于，所述对所述锚样本图像进行主体检测，得到主体掩膜和背景掩膜，包括：
基于预设主体特征信息，计算所述锚样本图像的像素点属于主体的概率值，得到主体值信息；
获取所述主体值信息中大于等于主体阈值的目标主体值信息，将所述目标主体值信息在所述锚样本图像中所对应的区域，作为初始主体区域信息；
获取所述初始主体区域信息对应的面积值信息；
获取面积值信息中的最大面积值，将所述最大面积值在所述初始主体区域信息中所对应的区域，作为所述主体掩膜；
从所述锚样本图像中截取未被所述主体掩膜掩盖的区域，得到所述背景掩膜。
4.根据权利要求2所述的方法，其特征在于，所述依据所述主体掩膜、所述背景掩膜和风格变换模型，将所述锚样本图像的风格变换为所述目标背景风格的风格，得到正样本图像之前，所述方法还包括：
获取内容样本图像和背景风格样本图像；所述内容样本图像为用于训练变换图像的风格而不改变主体形状的模型的图像，所述背景风格样本图像为对所述内容样本图像进行风格变换所参考的风格对应的图像；
依据待构建风格变换模型，将所述内容样本图像的风格变换为所述背景风格样本图像的风格，得到新风格样本图像；
获取所述内容样本图像和所述新风格样本图像的内容差异，以及所述背景风格样本图像和所述新风格样本图像的风格差异，得到风格变换损失函数；
基于所述风格变换损失函数、所述内容样本图像和所述背景风格样本图像，训练所述待构建风格变换模型，得到所述风格变换模型。
5.根据权利要求4所述的方法，其特征在于，所述待构建风格变换模型包括编码模型、归一化模型和解码模型，所述依据待构建风格变换模型，将所述内容样本图像的风格变换为所述背景风格样本图像的风格，得到新风格样本图像，包括：
依据所述编码模型，提取所述内容样本图像的深度特征，得到待变换样本深度特征；
依据所述编码模型，提取所述背景风格样本图像的深度特征，得到背景风格样本深度特征；
依据所述归一化模型，对所述待变换样本深度特征和所述背景风格样本深度特征进行特征分布的归一化处理，得到新风格样本深度特征；
依据所述解码模型，解码所述新风格样本深度特征，得到所述新风格样本图像。
6.根据权利要求5所述的方法，其特征在于，所述依据所述归一化模型，对所述待变换样本深度特征和所述背景风格样本深度特征进行特征分布的归一化处理，得到新风格样本深度特征，包括：
获取所述样本主体深度特征的高，得到主体特征图高，以及获取所述样本主体深度特征的宽，得到主体特征图宽；
获取所述背景风格样本深度特征的高，得到风格特征图高，以及获取所述背景风格样本的宽，得到风格特征图宽；
依据所述归一化模型，以及所述主体特征图高、所述主体特征图宽、所述风格特征图高和所述风格特征图宽进行特征分布的归一化处理，得到所述新风格样本深度特征。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数，包括：
从所述样本主体形状特征中，获取锚样本主体形状特征、正样本主体形状特征和负样本主体形状特征；
获取所述锚样本主体形状特征和所述正样本主体形状特征的特征差异，得到所述样本图像的正样本对距离信息；
获取所述锚样本主体形状特征和所述负样本主体形状特征的特征差异，得到所述样本图像的负样本对距离信息；
将所述正样本对距离信息和所述负样本对距离信息的距离差值，与预设间隔参数的和，作为所述主体形状特征差异，从而得到所述待构建主体形状特征提取模型的所述第一损失函数。
8.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型，包括：
根据所述第一损失函数，调整所述待构建主体形状特征提取模型的参数信息；
基于调整后的待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到优化样本主体形状特征；
基于所述优化样本主体形状特征，获取所述样本图像中图像的优化主体形状特征差异，得到所述调整后的待构建主体形状特征提取模型的第二损失函数；
基于所述第二损失函数和所述样本图像，训练所述调整后的待构建主体形状特征提取模型，直到满足训练结束条件时，将训练的调整后的待构建主体形状特征提取模型作为所述主体形状特征提取模型。
9.根据权利要求1所述的方法，其特征在于，所述基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数之后，所述方法还包括：
基于所述第一损失函数，获取目标样本图像；所述目标样本图像与所述样本图像在图像间的主体形状的特征差异上低于特征差异阈值；
基于所述目标样本图像，训练所述待构建主体形状特征提取模型。
10.一种图像匹配方法，其特征在于，包括：
获取待匹配图像；
基于主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到待匹配主体形状特征；所述主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型；
基于所述主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；所述图像库为用于与所述待匹配图像匹配的图像所构成的集合；
将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果。
11.根据权利要求10所述的方法，其特征在于，所述将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果之后，所述方法还包括：
基于所述图像匹配结果，对所述待匹配图像进行处理，生成处理信息；
将所述处理信息发送至所述终端。
12.根据权利要求11所述的方法，其特征在于，当所述待匹配图像为待发布图像时，所述基于所述图像匹配结果，对所述待匹配图像进行处理，生成处理信息，包括：
当所述图像匹配结果表征所述图像库中不存在与所述待匹配图像所匹配的目标图像时，发布所述待发布图像，生成所述待匹配图像的审核通过信息，并将所述审核通过信息作为所述待匹配图像的所述处理信息；
当所述图像匹配结果表征所述图像库中存在与所述待匹配图像所匹配的目标图像时，不发布所述待发布图像，生成所述待匹配图像的审核未通过信息，并将所述审核未通过信息作为所述待匹配图像的所述处理信息。
13.根据权利要求11所述的方法，其特征在于，当所述待匹配图像为已查看图像时，所述基于所述图像匹配结果，对所述待匹配图像进行处理，生成处理信息，包括：
当所述图像匹配结果表征所述图像库中存在与所述待匹配图像所匹配的目标图像时，向所述待匹配图像推荐所述目标信息，将显示所述目标图像的操作信息作为所述处理信息；
当所述图像匹配结果表征所述图像库中不存在与所述待匹配图像所匹配的目标图像时，结束匹配流程，生成所述待匹配图像的结束匹配流程信息，将所述结束匹配流程信息作为所述处理信息。
14.一种第一图像匹配装置，其特征在于，包括：
第一图像获取模块，用于获取样本图像；所述样本图像为用于训练提取图像的主体形状特征的模型的图像；所述主体形状特征为图像的主体的轮廓所对应的特征；
第一特征提取模块，用于依据待构建主体形状特征提取模型，提取所述样本图像的主体形状特征，得到样本主体形状特征；
损失计算模块，用于基于所述样本主体形状特征，获取所述样本图像中图像的主体形状特征差异，得到所述待构建主体形状特征提取模型的第一损失函数；
模型训练模块，用于基于所述第一损失函数和所述样本图像，训练所述待构建主体形状特征提取模型，得到主体形状特征提取模型；所述主体形状特征提取模型用于提取图像中用于图像匹配的主体形状特征。
15.一种第二图像匹配装置，其特征在于，包括：
第二图像获取模块，用于获取待匹配图像；
第二特征提取模块，用于基于主体形状特征提取模型，提取所述待匹配图像的主体形状特征，得到待匹配主体形状特征；所述主体形状特征提取模型为基于图像的主体形状特征训练得到的用于提取图像的主体形状特征的模型；
所述第二特征提取模块，还用于基于所述主体形状特征提取模型，提取图像库中每张图像的主体形状特征，得到目标主体形状特征集；所述图像库为用于与所述待匹配图像匹配的图像所构成的集合；
图像匹配模块，用于将所述待匹配主体形状特征与所述目标主体形状特征集中的每个目标主体形状特征进行匹配，得到所述图像匹配结果。
CN201910786185.6A 2019-08-23 2019-08-23 一种图像匹配方法、装置、设备及存储介质 Active CN110516734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910786185.6A CN110516734B (zh) 2019-08-23 2019-08-23 一种图像匹配方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910786185.6A CN110516734B (zh) 2019-08-23 2019-08-23 一种图像匹配方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110516734A true CN110516734A (zh) 2019-11-29
CN110516734B CN110516734B (zh) 2023-04-07

Family

ID=68627705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910786185.6A Active CN110516734B (zh) 2019-08-23 2019-08-23 一种图像匹配方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110516734B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN112784046A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 文本聚簇的方法、装置、设备及存储介质
CN112861474A (zh) * 2021-04-23 2021-05-28 腾讯科技（深圳）有限公司 一种信息标注方法、装置、设备及计算机可读存储介质
CN113392913A (zh) * 2021-06-21 2021-09-14 常州大学 基于边界特征点集的平面图形匹配度评价方法、装置及系统
CN113515988A (zh) * 2020-07-09 2021-10-19 腾讯科技（深圳）有限公司 掌纹识别方法、特征提取模型训练方法、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039761A1 (en) * 2014-05-14 2017-02-09 Huawei Technologies Co., Ltd. Image Processing Method And Apparatus
US20170357737A1 (en) * 2016-06-14 2017-12-14 Sony Corporation Information processing apparatus and information processing method
CN108174091A (zh) * 2017-12-28 2018-06-15 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108805900A (zh) * 2017-05-03 2018-11-13 杭州海康威视数字技术股份有限公司 一种跟踪目标的确定方法及装置
CN108898185A (zh) * 2018-07-03 2018-11-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置
WO2019019595A1 (zh) * 2017-07-27 2019-01-31 平安科技（深圳）有限公司 图片匹配方法及电子设备方法、装置、电子设备及介质
CN109815355A (zh) * 2019-01-28 2019-05-28 网易（杭州）网络有限公司 图像搜索方法及装置、存储介质、电子设备
CN109858409A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 手工图转换方法、装置、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039761A1 (en) * 2014-05-14 2017-02-09 Huawei Technologies Co., Ltd. Image Processing Method And Apparatus
US20170357737A1 (en) * 2016-06-14 2017-12-14 Sony Corporation Information processing apparatus and information processing method
CN108805900A (zh) * 2017-05-03 2018-11-13 杭州海康威视数字技术股份有限公司 一种跟踪目标的确定方法及装置
WO2019019595A1 (zh) * 2017-07-27 2019-01-31 平安科技（深圳）有限公司 图片匹配方法及电子设备方法、装置、电子设备及介质
CN108174091A (zh) * 2017-12-28 2018-06-15 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108898185A (zh) * 2018-07-03 2018-11-27 北京字节跳动网络技术有限公司 用于生成图像识别模型的方法和装置
CN109858409A (zh) * 2019-01-18 2019-06-07 深圳壹账通智能科技有限公司 手工图转换方法、装置、设备及介质
CN109815355A (zh) * 2019-01-28 2019-05-28 网易（杭州）网络有限公司 图像搜索方法及装置、存储介质、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAO S等: "Feature Sensitive LabelFusion With Random Walker for Atlas-Based Image Segmentation", 《IEEE TRANSACTIONS ON IMAGE PROCESSING A PUBLICATION OF THE IEEE SIGNAL PROCESSING SOCIETY》 *
张耀丹: "左心耳图像分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062292A (zh) * 2019-12-10 2020-04-24 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN111062292B (zh) * 2019-12-10 2022-07-29 哈尔滨工程大学 一种疲劳驾驶检测装置与方法
CN113515988A (zh) * 2020-07-09 2021-10-19 腾讯科技（深圳）有限公司 掌纹识别方法、特征提取模型训练方法、设备及介质
CN112784046A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 文本聚簇的方法、装置、设备及存储介质
CN112784046B (zh) * 2021-01-20 2024-05-28 北京百度网讯科技有限公司 文本聚簇的方法、装置、设备及存储介质
CN112861474A (zh) * 2021-04-23 2021-05-28 腾讯科技（深圳）有限公司 一种信息标注方法、装置、设备及计算机可读存储介质
CN112861474B (zh) * 2021-04-23 2021-07-02 腾讯科技（深圳）有限公司 一种信息标注方法、装置、设备及计算机可读存储介质
CN113392913A (zh) * 2021-06-21 2021-09-14 常州大学 基于边界特征点集的平面图形匹配度评价方法、装置及系统
CN113392913B (zh) * 2021-06-21 2023-09-29 常州大学 基于边界特征点集的平面图形匹配度评价方法、装置及系统

Also Published As

Publication number Publication date
CN110516734B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110516734A (zh) 一种图像匹配方法、装置、设备及存储介质
Xie et al. Scut-fbp: A benchmark dataset for facial beauty perception
CN108234870B (zh) 图像处理方法、装置、终端及存储介质
CN109359538A (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
CN110084281A (zh) 图像生成方法、神经网络的压缩方法及相关装置、设备
CN108780519A (zh) 卷积神经网络中的结构学习
CN111738243B (zh) 人脸图像的选择方法、装置、设备及存储介质
CN109376603A (zh) 一种视频识别方法、装置、计算机设备及存储介质
CN108875768A (zh) 数据标注方法、装置和系统及存储介质
CN111582342B (zh) 一种图像识别方法、装置、设备以及可读存储介质
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
Tan et al. Photograph aesthetical evaluation and classification with deep convolutional neural networks
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN108596090A (zh) 人脸图像关键点检测方法、装置、计算机设备及存储介质
CN106156693A (zh) 用于面部识别的基于多模型表示的鲁棒错误纠正方法
CN103942571B (zh) 一种基于遗传规划算法的图形图像分类方法
CN110222717A (zh) 图像处理方法和装置
CN109919202A (zh) 分类模型训练方法及装置
CN108875487A (zh) 行人重识别网络的训练及基于其的行人重识别
CN104063686A (zh) 作物叶部病害图像交互式诊断系统与方法
CN112651333B (zh) 静默活体检测方法、装置、终端设备和存储介质
CN108492301A (zh) 一种场景分割方法、终端及存储介质
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN109978077A (zh) 视觉识别方法、装置和系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant