CN112329888A - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

图像处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112329888A
CN112329888A CN202011356017.2A CN202011356017A CN112329888A CN 112329888 A CN112329888 A CN 112329888A CN 202011356017 A CN202011356017 A CN 202011356017A CN 112329888 A CN112329888 A CN 112329888A
Authority
CN
China
Prior art keywords
image
feature
target
dense
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011356017.2A
Other languages
English (en)
Other versions
CN112329888B (zh
Inventor
吴佳涛
郭彦东
李亚乾
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011356017.2A priority Critical patent/CN112329888B/zh
Publication of CN112329888A publication Critical patent/CN112329888A/zh
Priority to PCT/CN2021/122899 priority patent/WO2022111069A1/zh
Application granted granted Critical
Publication of CN112329888B publication Critical patent/CN112329888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本申请实施例公开了一种图像处理方法、装置、电子设备以及存储介质。所述方法包括：获取目标图像；将目标图像输入目标图像处理模型，基于目标图像处理模型对目标图像进行特征提取，得到提取到的特征；对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；从密集图像特征中获取与目标关键点对应的描述子向量；基于描述子向量获取与目标图像匹配的参考图像。通过该方法实现了基于与目标关键点对应的、并且包括有目标图像的全局特征信息以及局部特征信息的描述子向量获取与目标图像匹配的参考图像，使得充分利用了图像的语义信息和细节信息，进而提升了图像搜索精度。

Description

图像处理方法、装置、电子设备以及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像处理方法、装置、电子设备以及存储介质。
背景技术
相似图搜索指的是从海量的图像中自动识别出相似或相同的图像，近年来，随着图像处理技术的发展，相似图搜索技术已被广泛应用于行人重识别、车辆识别、网站的图像搜索以及电子商务的商品检索等领域。在进行相似图像搜索时，可能会忽略图像的一些细节信息，从而影响搜索精度。
发明内容
鉴于上述问题，本申请提出了一种图像处理方法、装置、电子设备以及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取目标图像；将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征；对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息；基于所述描述子向量获取与所述目标图像匹配的参考图像。
第二方面，本申请实施例提供了一种图像处理方法，所述方法包括：获取第一图像以及第二图像；基于上述第一方面所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量；基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数；若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
第三方面，本申请实施例提供了一种图像处理装置，所述装置包括：图像获取模块，用于获取目标图像；特征提取模块，用于将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征；特征处理模块，用于对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；参数获取模块，用于从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息；处理模块，用于基于所述描述子向量获取与所述目标图像匹配的参考图像。
第四方面，本申请实施例提供了一种图像处理装置，所述装置包括：图像获取单元，用于获取第一图像以及第二图像；第一参数获取单元，用于基于上述第一方面所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量；第二参数获取单元，用于基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数；处理单元，用于若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
第五方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面或第二方面的方法。
第六方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述第一方面或第二方面的方法。
本申请提供的一种图像处理方法、装置、电子设备以及存储介质，通过获取目标图像，继而将目标图像输入目标图像处理模型，再基于目标图像处理模型对目标图像进行特征提取，得到提取到的特征，再对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；再从密集图像特征中获取与目标关键点对应的描述子向量，描述子向量包括有目标图像的全局特征信息以及局部特征信息，使得可以基于该目标关键点获取同时包括了图像的全局特征以及局部特征的描述子向量，提升了图像处理的准确度，然后基于描述子向量获取与目标图像匹配的参考图像，实现了基于与目标关键点对应的、并且包括有目标图像的全局特征信息以及局部特征信息的描述子向量获取与目标图像匹配的参考图像，使得充分利用了图像的语义信息和细节信息，进而提升了图像搜索精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提出的一种图像处理方法的方法流程图。
图2示出了本申请实施例提供的目标图像处理模型的结构以及工作原理示意图。
图3示出了本申请实施例提供的多尺度关键点预测模块的工作原理示意图。
图4示出了图1中的步骤S130的方法流程图。
图5示出了图1中的步骤S130的方法流程图。
图6示出了本申请实施例提供的特征融合处理模块的工作原理示意图。
图7示出了本申请另一实施例提出的一种图像处理方法的方法流程图。
图8示出了本申请一实施例提出的一种图像处理装置的结构框图。
图9示出了本申请另一实施例提出的一种图像处理装置的结构框图。
图10示出了本申请的用于执行根据本申请实施例的一种图像处理方法的电子设备的结构框图。
图11是本申请实施例的用于保存或者携带实现根据本申请实施例的一种图像处理方法的程序代码的存储单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着图像处理的软件性能的提升，图像检索(搜索)技术已被广泛应用于行人重识别、车辆识别、网站的图像搜索以及电子商务的商品检索等领域。在相关的图像检索方式中，可以利用CNN(Convolutional Neural Network，卷积神经网络)网络提取的图像全局特征来进行图像的匹配检索，或者可以通过侦测与描述图像中的局部性特征(例如SIFT((Scale-invariant feature transform，尺度不变特征变换))特征)来进行图像的检索匹配。
然而发明人在研究中发现，在进行相似图像的搜索过程中，如果仅考虑图像全局特征而忽略图像局部特征，会容易导致搜索结果陷入全局相似，如都是户外建筑的图像，全局相似无法区分出建筑外观之间的具体差别。而如果仅考虑图像局部特征而忽略图像全局特征，会容易导致搜索结果陷入局部相似，如树叶在局部特征上都较为相似，但局部相似却无法区分出树和森林之间的差别。并且，无论是局部特征还是全局特征，当图像或者图像中的主要关注目标处于不同尺度大小时，现有的图像搜索方法的搜索结果的准确性都有待提升。
因此，为了改善上述问题，发明人提出了本申请提供的可以使得基于预测处理得到的目标关键点，获取同时包括了图像的全局特征以及局部特征的描述子向量，然后基于描述子向量获取与目标图像匹配的参考图像，实现了基于与目标关键点对应的、并且包括有目标图像的全局特征信息以及局部特征信息的描述子向量获取与目标图像匹配的参考图像，使得充分利用了图像的语义信息和细节信息，进而提升了图像搜索精度的图像处理方法、装置以及电子设备。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
将图像中满足如下条件的点称之为关键点：可以代表图像中的某些显著特性，如边缘点、交点、角点等。每个关键点通常对应有一个描述子，通常为一个1*d的向量，编码了对应关键点位置的图像特性。
下面将结合附图具体描述本申请的各实施例。
请参阅图1，本申请一实施例提供一种图像处理方法，应用于电子设备或服务器，所述电子设备或服务器上配置有可应用本申请实施例的方法进行相似图搜索的应用程序，本实施例对目标图像进行相似图搜索的原理进行介绍，所述方法包括：
步骤S110：获取目标图像。
可选的，该目标图像表征待进行相似或相同图像搜索的图像。目标图像的类型可以为多种，例如，可以为人物图像、风景图片或者是美食图片等。可选的，在一些可能的实施方式中，目标图像也可以为视频，且视频的题材类型可以不做限定，目标图像为视频的处理过程与目标图像为图片的处理过程相似，本实施例以目标图像为图片作为示例进行说明。可选的，目标图像的来源可以包括用户输入的图片、(实时)拍摄的图片、截图(包括视频画面截图或文本内容截图等)、网络下载图片、历史搜索记录中缓存的图片或者是本地存储的图片等。
作为一种方式，可以在接收到搜索指令时，响应搜索指令而获取目标图像。例如，当服务器接收到用户通过终端设备发送的搜索指令时，可以响应搜索指令开始获取目标图像。
作为另一种方式，可以在检测到搜索类应用程序处于开启状态时，获取目标图像。其中，可以监听搜索类应用程序的运行状态，并以特殊标识记录其运行状态。例如，可以将搜索类应用程序处于开启状态标识为“1”，而将搜索类应用程序处于关闭状态标识为“0”。在这种方式下，若识别到搜索类应用程序的运行状态标识为“1”时，可以开始获取目标图像。
在一种实施方式中，可以在搜索类应用程序的窗口界面设置图像搜索功能按钮，当检测到用户触控该图像搜索功能按钮时，可以开始识别用户选择的图片的特征，例如可以识别图片的清晰度，并设定清晰度阈值。可选的，为了确保搜索的有效性与准确性，可以在图片的清晰度大于清晰度阈值时，将该图片识别为目标图像。
在另一种实施方式中，本实施例中的目标图像可以包括多张(例如两张、三张、五张或八张等，具体数值可以不受限定)图片。若用户选择的图片为多张时，可以将多张图片按照选择顺序依次排序，得到目标图像集合。在该种方式下，在后续的搜索过程中，将按照多张图片之间的排列顺序依次进行如本实施例中的方法所提供的搜索过程，从而可以根据用户的搜索需求顺次进行搜索。可选的，也可以将多张图片按照像素的大小进行由小到大的排序，得到目标图像集合，通过将多张图片按照其各自的像素大小进行由小到大的顺序排序，可以加快前期的搜索速度，从而快速的完成对目标图像集合中的多张图片的搜索。
步骤S120：将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征。
本实施例中的目标图像处理模型为对目标图像进行特征分析以及特征处理的模型，可选的，目标图像处理模型可以为CNN模型。请参阅图2，示出了本申请实施例提供的目标图像处理模型的结构以及工作原理示意图。如图2所示，目标图像处理模型可以包括图像特征提取模块，多尺度关键点预测模块以及特征融合模块。其中，图像特征提取模块用于提取目标图像的特征，图像特征提取模块包括金字塔结构以及Decoder(解码)结构。多尺度关键点预测模块用于对由金字塔结构编码得到的多个尺度的图像特征图进行关键点预测，从而输出多尺度关键点概率图。特征融合模块用于对图像特征提取模块输出的特征进行加权融合处理，得到加权密集图像特征。
作为一种方式，可以基于上述金字塔结构对目标图像进行编码处理，具体的，可以采用金字塔结构对输入的图像进行卷积处理以及池化处理，逐层提取目标图像的图像特征。金字塔结构输出的图像特征图的尺度由浅至深逐层递减，即得到多个不同尺度的图像特征图。在这种方式下，图像特征图的维度越浅尺度越大，所对应特征图的感受野越小，维度越深尺度越小，所对应特征图的感受野越大。可选的，可以将多个尺度的图像特征图中尺度最小的特征图作为小尺度密集图像特征图(如图2所示，可以将特征图23作为小尺度密集图像特征图)。
可以将金字塔结构最终输出的小尺度密集图像特征图输入Decoder结构，使得采用Decoder结构对编码后的图像特征进行解码。Decoder结构可以逐层解码图像特征，输出尺度逐渐增大的多个图像特征图。通过采用Decoder结构对小尺度密集图像特征图进行逐层解码处理，可以得到多个尺度的图像特征图，在这种方式下，图像特征图的维度越浅尺度越大。可选的，可以将解码处理后得到的多个尺度的图像特征图中尺度最大的特征图作为大尺度密集图像特征图(如图2所示，可以将特征图24作为大尺度密集图像特征图)。
可选的，在通过Decoder结构对小尺度密集图像特征图进行解码处理时，可以接收由金字塔结构编码后得到的同样尺度大小的图像特征图作为跳跃连接的输入，使得可以丰富图像特征的语义和细节信息，从而提升特征提取的精度。
步骤S130：对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征。
本实施例中的多尺度关键点预测模块可以以不同层级的图像特征图作为输入，其中，每一个层级表征一个尺度(为了便于说明，本实施例中的图2、以及图3仅画出了4个尺度的特征图进行说明)，在多尺度关键点预测模块最终输出的多尺度关键点概率图中，每个位置可以表示该点为关键点的概率。
请参阅图3，示出了本申请实施例提供的多尺度关键点预测模块的工作原理示意图。多尺度关键点预测模块可以对由金字塔结构编码得到的多个尺度的图像特征图进行上采样处理，得到多个关键点概率图，再分别对多个关键点概率图求最大值，从而得到一个表征多尺度的关键点概率图，具体处理过程描述如下。
请参阅图4，作为一种方式，步骤S130可以包括：
步骤S131：分别对所述编码处理后得到的多个尺度的图像特征图以对应的尺度进行上采样处理，得到与多个尺度的图像特征图各自对应的多个上采样特征图。
以图3所示的4个尺度不同的图像特征图为例，可以采用多尺度关键点预测模块分别对编码处理后得到的多个尺度的图像特征图以对应的尺度进行上采样处理，得到与多个尺度的图像特征图各自对应的多个上采样特征图。其中，尺度越大对应的上采样倍数越小，尺度越小对应的上采样倍数越大，如图3所示，随着维度的由深至浅(如图3中箭头所示的方向)，4个尺度的图像特征图的上采样倍数依次为8倍、4倍、2倍、1倍。
步骤S132：分别获取所述多个上采样特征图中的每个位置对应的关键点概率分数，得到多个关键点概率图。
可选的，为了便于准确预测关键点的位置，最终得到的上采样特征图可以保持相同的大小(即尺度)，例如，如图3所示，可以将得到的4个上采样特征图的尺度调整为与图2中的特征图24相同的尺度，需要说明的是，虽然将不同尺度的上采样特征图的尺度调整为相同，但不同尺度的上采样特征图的像素数量依然是不同的。
在这种方式下，可以对尺度相同的多个上采样特征图分别进行关键点概率图预测，即分别获取多个上采样特征图中的每个位置对应的关键点概率分数，继而得到多个关键点概率图。其中，在获取关键点概率分数的过程中，可以预先设定概率分数阈值，选取上采样特征图中关键点概率分数大于概率分数阈值的的位置，构成关键点集合，从而得到分别包括各自的关键点集合的关键点概率图，即得到多个关键点概率图。例如，可以将图3中所示的4种尺度的上采样特征图分别进行关键点概率图预测，从而得到4张关键点概率图。
步骤S133：对所述多个关键点概率图进行聚合处理，得到多尺度关键点概率图。
作为一种方式，可以对得到的多个关键点概率图进行聚合处理，具体的，可以求关键点概率图中的每个位置的最大值，将该最大值作为该位置的关键点概率得分，在这种方式下，可以将各个关键点概率图中所求得的最大值所对应的关键点概率得分聚合为一张多尺度关键点概率图。
步骤S134：从所述多尺度关键点概率图中获取目标关键点。
可选的，在对目标图像的特征进行提取后，可以从获得的与目标图像对应的多尺度关键点概率图中获取目标关键点，可以理解的是，该目标关键点对应的关键点概率分数大于指定阈值。在一些实施方式中，指定阈值可以与上述的概率分数阈值相同，或者也可以为其他根据实际需要设定的数值。通过对不同尺度的图像特征图进行关键点预测，可以实现自适应搜索图像中不同尺度的搜索目标，提升搜索精度。
如图2所示，本实施例中的特征融合模块可以以Decoder结构输出的大尺度密集图像特征图24和金字塔结构输出的小尺度密集图像特征图23作为输入，进而对大尺度密集图像特征图与小尺度密集图像特征图进行融合处理，得到密集图像特征图，具体描述如下：
请参阅图5，步骤S130还可以包括：
步骤S135：对所述小尺度密集图像特征图进行全局池化处理，得到与所述小尺度密集图像特征图对应的全局特征描述向量。
请参阅图6，示出了本申请实施例提供的特征融合处理模块的工作原理示意图。如图6所示，可以先对小尺度密集图像特征图进行全局池化处理，得到与小尺度密集图像特征图对应的全局特征描述向量，该全局特征描述向量为一维向量。
在一种实施方式中，密集图像特征图的维度可以表示为w*h*d，其中，w和h分别表示密集图像特征图的长度和宽度，d表示密集图像特征图的维度，也即深度。假设小尺度密集图像特征图(用S表示)的维度为w1*h1*d1，大尺度密集图像特征图(用L表示)的维度为w2*h2*d2，通过对小尺度密集图像特征图S进行全局池化处理，可以得到一个深度(即维度)为d的全局特征描述向量G，其中，全局池化处理的公式可以表示如下：
Figure BDA0002802599970000101
其中，G表征全局特征描述向量，w1表征小尺度密集图像特征图的长度，h1表征小尺度密集图像特征图的宽度，(i，j)表征小尺度密集图像特征图的位置坐标(二维坐标)，，S表征小尺度密集图像特征图，S(i，j，：)表征对小尺度密集图像特征图的位置坐标在同一维度上相加。
步骤S136：获取与所述全局特征描述向量对应的特征权重。
作为一种方式，可以赋予全局特征描述向量特征权重W，目标图像不同，所对应的全局特征向量的特征权重可以不同。
步骤S137：将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征进行融合处理，得到密集图像特征。
作为一种方式，可以基于目标计算规则，将如图6所示的全局特征描述向量按照特征权重与大尺度密集图像特征图的密集图像特征在同一维度上逐项相加，得到加权的密集图像特征。该目标计算规则可以包括：
LW(i,j,:)＝L(i,j,:)+W*G；
其中，LW(i,j,:)表征加权的密集图像特征，L(i,j,:)表征大尺度密集图像特征图的密集图像特征，W表征特征权重，G表征全局特征描述向量。
在一种具体的实施方式中，以上述示例为例，可以将全局特征描述向量G按照特征权重W与大尺度密集图像特征图L在维度d上逐项相加，得到加权的密集图像特征LW(i,j,:)。
步骤S140：从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息。
其中，密集图像特征包括目标图像的全局特征与局部特征，密集图像特征中的位置与前述的多尺度关键点概率图中的位置一一对应，即多尺度关键点概率图中的每个位置在密集图像特征中均有一个d维度的描述子向量，该描述子向量表征该位置点的特征信息。作为一种方式，可以从密集图像特征中获取与目标关键点对应的描述子向量，使得该描述子向量同时包括有目标图像的全局特征信息以及局部特征信息。
步骤S150：基于所述描述子向量获取与所述目标图像匹配的参考图像。
可选的，在获取了与目标图像对应的描述子向量后，可以获取任意待与目标图像进行匹配(例如相似度比对)的图像的描述子向量，继而可以采用描述子匹配算法(例如KNN(K-Nearest Neighbor，K近邻搜索算法))匹配目标图像与待匹配图像各自对应的描述子向量，从而计算不同图像之间的相似度，进而可以实现基于描述子向量获取与目标图像匹配的参考图像。可选的，参考图像可以是与目标图像相同或者相似的图像。
本申请提供的一种图像处理方法，通过获取目标图像，继而将目标图像输入目标图像处理模型，再基于目标图像处理模型对目标图像进行特征提取，得到提取到的特征，再对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；再从密集图像特征中获取与目标关键点对应的描述子向量，描述子向量包括有目标图像的全局特征信息以及局部特征信息，使得可以基于该目标关键点获取同时包括了图像的全局特征以及局部特征的描述子向量，提升了图像处理的准确度，然后基于描述子向量获取与目标图像匹配的参考图像，实现了基于与目标关键点对应的、并且包括有目标图像的全局特征信息以及局部特征信息的描述子向量获取与目标图像匹配的参考图像，使得充分利用了图像的语义信息和细节信息，进而提升了图像搜索精度。
请参阅图7，本申请另一实施例提供一种图像处理方法，应用于电子设备或服务器，所述电子设备或服务器上配置有可应用本申请实施例的方法进行相似图搜索的应用程序，所述方法包括：
步骤S210：获取第一图像以及第二图像。
其中，第一图像与第二图像为待进行相似度匹配的图像。第一图像与第二图像可以为前景相同或类似的图片，在这种方式下，第一图像的背景与第二图像的背景可以相同或者不同。类似的，第一图像与第二图像可以为背景相同或相似的图片，在这种方式下，第一图像的前景与第二图像的前景可以相同或者不同。或者第一图像与第二图像可以为前景与背景均相同或者相似的图片。
可选的，可以构建与各种类型的照片对应的数据库，在需要进行图像搜索(检索)时，将用于搜索的目标图像作为第一图像，将待进行相似度匹配的图像作为第二图像，第二图像可以是数据库中的任意图像，第二图像的数量可以为一张或者多张。关于在什么时机下获取第一图像以及第二图像可以参照前述实施例中步骤S110的描述，在此不再赘述。
步骤S220：基于如权利要求1-5任一项所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量。
在一种具体的实施方式中，假设第一图像表示为I1，第二图像表示为I2，通过分别将第一图像I1以及第二图像I2输入前述的目标图像处理模型，可以得到与第一图像对应的多尺度关键点概率图M1和加权密集图像特征Lw1，以及与第二图像对应的多尺度关键点概率图M2和加权密集图像特征Lw2。可以设定概率分数阈值为T1，选取多尺度关键点概率图M1中概率分数大于概率分数阈值T1的位置点，构成关键点集合K1，取K1中每个关键点在Lw1中的描述子向量，构成描述子集合D1。类似的，可以选取多尺度关键点概率图M2中概率分数大于概率分数阈值T1的位置点，构成关键点集合K2，取K2中每个关键点在Lw2中的描述子向量，构成描述子集合D2。
步骤S230：基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数。
在上述示例中，可以采用描述子匹配算法将描述子集合D1与描述子集合D2进行匹配的方式，获取第一图像与第二图像的匹配分数。
步骤S240：若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
可选的，若第一图像与第二图像之间的匹配分数大于或者等于匹配分数阈值(具体数值不作限定)，那么可以判定第一图像与第二图像匹配，即可以判定第一图像为相同的图像或者相似的图像；而若二者之间的匹配分数小于匹配分数阈值，那么可以判定第一图像与第二图像不匹配。在这种方式下，需要重新从数据库中获取第二图像，再进行上述匹配过程，直至查询到与第一图像匹配的第二图像。
可选的，为了便于加快搜索速度，可以同时开启多个线程进行图像相似度匹配，即可以同时将第一图像与多张不同的第二图像执行上述匹配过程，在这种方式下，可以将查询到的多个搜索结果图像中，匹配分数最高的第二图像作为与第一图像匹配的图像。
本申请实施例提供的一种图像处理方法，通过基于前述实施例中的方法分别获取与第一图像对应的第一描述子向量，以及与第二图像对应的第二描述子向量，可以使得通过包括了图像的全局特征以及局部特征的描述子向量对不同图像的相似性进行匹配，从而可以更加精准的搜索与待搜索图像匹配的图像。
请参阅图8，本申请实施例提供的一种图像处理装置300，运行于电子设备或服务器，所述电子设备或服务器上配置有可应用本申请实施例的方法进行相似图搜索的应用程序，所述装置300包括：
图像获取模块310，用于获取目标图像。
特征提取模块320，用于将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征。
作为一种方式，特征提取模块320，具体用于基于所述目标图像处理模型对所述目标图像进行编码处理，得到多个尺度的图像特征图；将所述多个尺度的图像特征图中尺度最小的特征图作为小尺度密集图像特征图；对所述小尺度密集图像特征图进行解码处理，得到多个尺度的图像特征图；将解码处理后得到的多个尺度的图像特征图中尺度最大的特征图作为大尺度密集图像特征图。
特征处理模块330，用于对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征。
可选的，特征处理模块330，可以用于分别对所述编码处理后得到的多个尺度的图像特征图以对应的尺度进行上采样处理，得到与多个尺度的图像特征图各自对应的多个上采样特征图；分别获取所述多个上采样特征图中的每个位置对应的关键点概率分数，得到多个关键点概率图；对所述多个关键点概率图进行聚合处理，得到多尺度关键点概率图；从所述多尺度关键点概率图中获取目标关键点，所述目标关键点对应的关键点概率分数大于指定阈值。
可选的，特征处理模块330，可以用于对所述小尺度密集图像特征图进行全局池化处理，得到与所述小尺度密集图像特征图对应的全局特征描述向量；获取与所述全局特征描述向量对应的特征权重；将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征进行融合处理，得到密集图像特征。其中，在一种具体的实施方式中，可以基于目标计算规则将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征在同一维度上逐项相加，得到加权的密集图像特征；
所述目标计算规则包括：
LW(i,j,:)＝L(i,j,:)+W*G；
其中，所述LW(i,j,:)表征所述加权的密集图像特征，所述L(i,j,:)表征所述大尺度密集图像特征图的密集图像特征，所述W表征所述特征权重，所述G表征所述全局特征描述向量。
参数获取模块340，用于从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息。
处理模块350，用于基于所述描述子向量获取与所述目标图像匹配的参考图像。
请参阅图9，本申请实施例提供的一种图像处理装置400，运行于电子设备或服务器，所述电子设备或服务器上配置有可应用本申请实施例的方法进行相似图搜索的应用程序，所述装置400包括：
图像获取单元410，用于获取第一图像以及第二图像。
第一参数获取单元420，用于基于如权利要求1-5任一项所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量。
第二参数获取单元430，用于基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数。
处理单元440，用于若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
请参阅图10，基于上述的图像处理方法及装置，本申请实施例还提供了一种可以执行前述图像处理方法的电子设备100。电子设备100包括存储器102以及相互耦合的一个或多个(图中仅示出一个)处理器104，存储器102以及处理器104之间通信线路连接。存储器102中存储有可以执行前述实施例中内容的程序，而处理器104可以执行存储器102中存储的程序。
其中，处理器104可以包括一个或者多个处理核。处理器104利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器102内的指令、程序、代码集或指令集，以及调用存储在存储器102内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器104可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器104可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器104中，单独通过一块通信芯片进行实现。
存储器102可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器102可用于存储指令、程序、代码、代码集或指令集。存储器102可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现前述各个实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图11，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质500中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质500可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质500包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质500具有执行上述方法中的任何方法步骤的程序代码510的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码510可以例如以适当形式进行压缩。
综上所述，本申请提供的一种图像处理方法、装置、电子设备以及存储介质，通过获取目标图像，继而将目标图像输入目标图像处理模型，再基于目标图像处理模型对目标图像进行特征提取，得到提取到的特征，再对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；再从密集图像特征中获取与目标关键点对应的描述子向量，描述子向量包括有目标图像的全局特征信息以及局部特征信息，使得可以基于该目标关键点获取同时包括了图像的全局特征以及局部特征的描述子向量，提升了图像处理的准确度，然后基于描述子向量获取与目标图像匹配的参考图像，实现了基于与目标关键点对应的、并且包括有目标图像的全局特征信息以及局部特征信息的描述子向量获取与目标图像匹配的参考图像，使得充分利用了图像的语义信息和细节信息，进而提升了图像搜索精度。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像；
将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征；
对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；
从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息；
基于所述描述子向量获取与所述目标图像匹配的参考图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像处理模型对所述目标图像进行特征提取，包括：
基于所述目标图像处理模型对所述目标图像进行编码处理，得到多个尺度的图像特征图；
将所述多个尺度的图像特征图中尺度最小的特征图作为小尺度密集图像特征图；
对所述小尺度密集图像特征图进行解码处理，得到多个尺度的图像特征图；
将解码处理后得到的多个尺度的图像特征图中尺度最大的特征图作为大尺度密集图像特征图。
3.根据权利要求2所述的方法，其特征在于，所述对所提取的特征进行关键点预测处理，得到目标关键点，包括：
分别对所述编码处理后得到的多个尺度的图像特征图以对应的尺度进行上采样处理，得到与多个尺度的图像特征图各自对应的多个上采样特征图；
分别获取所述多个上采样特征图中的每个位置对应的关键点概率分数，得到多个关键点概率图；
对所述多个关键点概率图进行聚合处理，得到多尺度关键点概率图；
从所述多尺度关键点概率图中获取目标关键点，所述目标关键点对应的关键点概率分数大于指定阈值。
4.根据权利要求2所述的方法，其特征在于，所述对所提取的特征进行特征融合处理，得到密集图像特征，包括：
对所述小尺度密集图像特征图进行全局池化处理，得到与所述小尺度密集图像特征图对应的全局特征描述向量；
获取与所述全局特征描述向量对应的特征权重；
将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征进行融合处理，得到密集图像特征。
5.根据权利要求4所述的方法，其特征在于，所述将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征进行融合处理，得到密集图像特征，包括：
基于目标计算规则将所述全局特征描述向量按照所述特征权重与所述大尺度密集图像特征图的密集图像特征在同一维度上逐项相加，得到加权的密集图像特征；
所述目标计算规则包括：
LW(i,j,:)＝L(i,j,:)+W*G；
其中，所述LW(i,j,:)表征所述加权的密集图像特征，所述L(i,j,:)表征所述大尺度密集图像特征图的密集图像特征，所述W表征所述特征权重，所述G表征所述全局特征描述向量。
6.一种图像处理方法，其特征在于，所述方法包括：
获取第一图像以及第二图像；
基于如权利要求1-5任一项所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量；
基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数；
若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
7.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标图像；
特征提取模块，用于将所述目标图像输入目标图像处理模型，基于所述目标图像处理模型对所述目标图像进行特征提取，得到提取到的特征；
特征处理模块，用于对所提取的特征进行关键点预测处理，得到目标关键点，以及对所提取的特征进行特征融合处理，得到密集图像特征；
参数获取模块，用于从所述密集图像特征中获取与所述目标关键点对应的描述子向量，所述描述子向量包括有所述目标图像的全局特征信息以及局部特征信息；
处理模块，用于基于所述描述子向量获取与所述目标图像匹配的参考图像。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取单元，用于获取第一图像以及第二图像；
第一参数获取单元，用于基于如权利要求1-5任一项所述的方法获取与所述第一图像对应的第一描述子向量，以及获取与所述第二图像对应的第二描述子向量；
第二参数获取单元，用于基于所述第一描述子向量以及所述第二描述子向量获取所述第一图像与所述第二图像的匹配分数；
处理单元，用于若所述匹配分数大于匹配分数阈值，判定所述第一图像与所述第二图像匹配。
9.一种电子设备，其特征在于，包括一个或多个处理器以及存储器；
一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行权利要求1-5或6任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-5或6任一所述的方法。
CN202011356017.2A 2020-11-26 2020-11-26 图像处理方法、装置、电子设备以及存储介质 Active CN112329888B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011356017.2A CN112329888B (zh) 2020-11-26 2020-11-26 图像处理方法、装置、电子设备以及存储介质
PCT/CN2021/122899 WO2022111069A1 (zh) 2020-11-26 2021-10-09 图像处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011356017.2A CN112329888B (zh) 2020-11-26 2020-11-26 图像处理方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112329888A true CN112329888A (zh) 2021-02-05
CN112329888B CN112329888B (zh) 2023-11-14

Family

ID=74308076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011356017.2A Active CN112329888B (zh) 2020-11-26 2020-11-26 图像处理方法、装置、电子设备以及存储介质

Country Status (2)

Country Link
CN (1) CN112329888B (zh)
WO (1) WO2022111069A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112990228A (zh) * 2021-03-05 2021-06-18 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
CN113537350A (zh) * 2021-07-16 2021-10-22 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113554615A (zh) * 2021-07-21 2021-10-26 网易（杭州）网络有限公司 一种图像精细化处理方法、装置、电子设备及存储介质
CN113778591A (zh) * 2021-08-23 2021-12-10 中国银联股份有限公司 获取展示卡面的方法、装置、服务器及存储介质
WO2022111069A1 (zh) * 2020-11-26 2022-06-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN115375976A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 图像处理模型训练方法、电子设备和计算机可读存储介质
CN115455227A (zh) * 2022-09-20 2022-12-09 上海弘玑信息技术有限公司 图形界面的元素搜索方法及电子设备、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631330B (zh) * 2022-12-20 2023-03-10 浙江太美医疗科技股份有限公司 特征提取方法、模型训练方法、图像识别方法及应用
CN116150417B (zh) * 2023-04-19 2023-08-04 上海维智卓新信息科技有限公司 一种多尺度多融合的图像检索方法及装置
CN116796021B (zh) * 2023-08-28 2023-12-05 上海任意门科技有限公司 图像检索方法、系统、电子设备和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781765A (zh) * 2019-09-30 2020-02-11 腾讯科技（深圳）有限公司 一种人体姿态识别方法、装置、设备及存储介质
CN110781911A (zh) * 2019-08-15 2020-02-11 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、设备及存储介质
US20200242153A1 (en) * 2019-01-29 2020-07-30 Samsung Electronics Co., Ltd. Method, apparatus, electronic device and computer readable storage medium for image searching
US20200250462A1 (en) * 2018-11-16 2020-08-06 Beijing Sensetime Technology Development Co., Ltd. Key point detection method and apparatus, and storage medium
CN111930983A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 一种图像检索方法、装置、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329888B (zh) * 2020-11-26 2023-11-14 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200250462A1 (en) * 2018-11-16 2020-08-06 Beijing Sensetime Technology Development Co., Ltd. Key point detection method and apparatus, and storage medium
US20200242153A1 (en) * 2019-01-29 2020-07-30 Samsung Electronics Co., Ltd. Method, apparatus, electronic device and computer readable storage medium for image searching
CN110781911A (zh) * 2019-08-15 2020-02-11 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、设备及存储介质
CN110781765A (zh) * 2019-09-30 2020-02-11 腾讯科技（深圳）有限公司 一种人体姿态识别方法、装置、设备及存储介质
CN111930983A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 一种图像检索方法、装置、电子设备及存储介质

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111069A1 (zh) * 2020-11-26 2022-06-02 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN112990228A (zh) * 2021-03-05 2021-06-18 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
WO2022183638A1 (zh) * 2021-03-05 2022-09-09 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
CN112990228B (zh) * 2021-03-05 2024-03-29 浙江商汤科技开发有限公司 图像特征匹配方法和相关装置、设备及存储介质
CN113537350A (zh) * 2021-07-16 2021-10-22 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113537350B (zh) * 2021-07-16 2023-12-22 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113554615B (zh) * 2021-07-21 2023-08-22 网易（杭州）网络有限公司 一种图像精细化处理方法、装置、电子设备及存储介质
CN113554615A (zh) * 2021-07-21 2021-10-26 网易（杭州）网络有限公司 一种图像精细化处理方法、装置、电子设备及存储介质
CN113778591A (zh) * 2021-08-23 2021-12-10 中国银联股份有限公司 获取展示卡面的方法、装置、服务器及存储介质
CN113778591B (zh) * 2021-08-23 2023-09-19 中国银联股份有限公司 获取展示卡面的方法、装置、服务器及存储介质
CN115455227A (zh) * 2022-09-20 2022-12-09 上海弘玑信息技术有限公司 图形界面的元素搜索方法及电子设备、存储介质
CN115375976B (zh) * 2022-10-25 2023-02-10 杭州华橙软件技术有限公司 图像处理模型训练方法、电子设备和计算机可读存储介质
CN115375976A (zh) * 2022-10-25 2022-11-22 杭州华橙软件技术有限公司 图像处理模型训练方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN112329888B (zh) 2023-11-14
WO2022111069A1 (zh) 2022-06-02

Similar Documents

Publication Publication Date Title
CN112329888B (zh) 图像处理方法、装置、电子设备以及存储介质
US10140549B2 (en) Scalable image matching
US10032072B1 (en) Text recognition and localization with deep learning
CN110033018B (zh) 图形相似度判断方法、装置及计算机可读存储介质
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
US20180260479A1 (en) Method, apparatus, system and electronic device for picture book recognition
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
CN113254654B (zh) 模型训练、文本识别方法、装置、设备和介质
CN115443490A (zh) 影像审核方法及装置、设备、存储介质
CN111935487B (zh) 一种基于视频流检测的图像压缩方法及系统
CN114937285B (zh) 动态手势识别方法、装置、设备及存储介质
CN114898266B (zh) 训练方法、图像处理方法、装置、电子设备以及存储介质
CN111291695B (zh) 人员违章行为识别模型训练方法、识别方法及计算机设备
WO2019100348A1 (zh) 图像检索方法和装置以及图像库的生成方法和装置
CN112819011A (zh) 对象间关系的识别方法、装置和电子系统
CN114358203A (zh) 图像描述语句生成模块的训练方法及装置、电子设备
CN114140831B (zh) 人体姿态估计方法、装置、电子设备及存储介质
CN116304307A (zh) 一种图文跨模态检索网络训练方法、应用方法及电子设备
CN114639096A (zh) 文本识别方法、装置、电子设备和存储介质
CN114168768A (zh) 图像检索方法及相关设备
CN113255604A (zh) 基于深度学习网络的行人重识别方法、装置、设备及介质
CN113408282B (zh) 主题模型训练和主题预测方法、装置、设备及存储介质
CN114842488A (zh) 图像标题文本确定方法、装置、电子设备及存储介质
CN113221718A (zh) 公式识别方法、装置、存储介质和电子设备
CN116311271B (zh) 文本图像的处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant