CN116563583B - 一种图像匹配的方法、地图信息的更新方法以及相关装置 - Google Patents

一种图像匹配的方法、地图信息的更新方法以及相关装置 Download PDF

Info

Publication number
CN116563583B
CN116563583B CN202310831318.3A CN202310831318A CN116563583B CN 116563583 B CN116563583 B CN 116563583B CN 202310831318 A CN202310831318 A CN 202310831318A CN 116563583 B CN116563583 B CN 116563583B
Authority
CN
China
Prior art keywords
feature
image
matched
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310831318.3A
Other languages
English (en)
Other versions
CN116563583A (zh
Inventor
娄英欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202310831318.3A priority Critical patent/CN116563583B/zh
Publication of CN116563583A publication Critical patent/CN116563583A/zh
Application granted granted Critical
Publication of CN116563583B publication Critical patent/CN116563583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Abstract

本申请公开了一种图像匹配的方法、地图信息的更新方法以及相关装置。本申请方法包括：对第一待匹配图像进行特征提取处理，得到K个第一特征图；对第二待匹配图像进行特征提取处理，得到K个第二特征图；根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量；根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量；根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量；根据特征点配对数量，确定图像匹配结果。本申请采用通过提取图像的语义特征以及属性特征，能够更全面地学习到图像信息，从而有利于提升图像匹配的准确率。

Description

一种图像匹配的方法、地图信息的更新方法以及相关装置
技术领域
本申请涉及计算机技术领域，尤其涉及一种图像匹配的方法、地图信息的更新方法以及相关装置。
背景技术
在地图道路数据采集过程中，为了进行地图信息的更新，通常需要将新采集的资料与历史资料中的结果进行比对。例如，将新采集到的图像与历史资料中的图像进行相似度比较，从而找到地图中发生变化的要素，进而可以进行地图的更新。
目前，可利用大量标注数据对卷积神经网络进行训练，实现对图像的高级语义特征提取以及分类，得到最终的图像识别结果。在相关技术中，利用目标检测网络分别识别出新图像中的要素和历史图像中的要素，通过比对两个图像中的要素是否一致，能够进一步判定是否需要对地图进行更新。
然而，发明人发现目前的方案中至少存在如下问题，由于图像中涉及到的要素众多，而利用目标检测网络提取到的要素比较有限。因此，存在要素识别不准确的情况，由此，导致图像匹配的错误率较高。针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种图像匹配的方法、地图信息的更新方法以及相关装置，通过提取图像的语义特征以及属性特征，能够更全面地学习到图像信息。由此，利用特征向量实现对特征点的匹配，可提升对图像整体的理解能力，有利于提升图像匹配的准确率。
有鉴于此，本申请一方面提供一种图像匹配的方法，包括：
对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，N为大于1的整数；
根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，第一待匹配图像所对应的M个第一特征向量用于描述第一待匹配图像的语义特征以及属性特征；
根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，第二待匹配图像所对应的N个第二特征向量用于描述第二待匹配图像的语义特征以及属性特征；
根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
根据特征点配对数量，确定第一待匹配图像与第二待匹配图像之间的图像匹配结果。
本申请另一方面提供一种地图信息的更新方法，包括：
对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
对目标道路图像进行特征提取处理，得到K个第二特征图，其中，目标道路图像的采集时间晚于历史道路图像的采集时间，每个第二特征图包括N个第二特征点，N为大于1的整数；
根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，历史道路图像所对应的M个第一特征向量用于描述历史道路图像的语义特征以及属性特征；
根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，目标道路图像所对应的N个第二特征向量用于描述目标道路图像的语义特征以及属性特征；
根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
在根据特征点配对数量，确定历史道路图像与目标道路图像匹配失败的情况下，根据历史道路图像的要素识别结果以及目标道路图像的要素识别结果，生成图像要素集合，其中，图像要素集合来源于历史道路图像以及目标道路图像中的至少一项；
根据图像要素集合，对地图信息进行更新。
本申请另一方面提供一种图像匹配装置，包括：
处理模块，用于对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
处理模块，还用于对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，N为大于1的整数；
获取模块，用于根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，第一待匹配图像所对应的M个第一特征向量用于描述第一待匹配图像的语义特征以及属性特征；
获取模块，还用于根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，第二待匹配图像所对应的N个第二特征向量用于描述第二待匹配图像的语义特征以及属性特征；
确定模块，用于根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
确定模块，还用于根据特征点配对数量，确定第一待匹配图像与第二待匹配图像之间的图像匹配结果。
本申请另一方面提供一种地图信息更新装置，包括：
处理模块，用于对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
处理模块，还用于对目标道路图像进行特征提取处理，得到K个第二特征图，其中，目标道路图像的采集时间晚于历史道路图像的采集时间，每个第二特征图包括N个第二特征点，N为大于1的整数；
获取模块，用于根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，历史道路图像所对应的M个第一特征向量用于描述历史道路图像的语义特征以及属性特征；
获取模块，还用于根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，目标道路图像所对应的N个第二特征向量用于描述目标道路图像的语义特征以及属性特征；
确定模块，用于根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
确定模块，还用于在根据特征点配对数量，确定历史道路图像与目标道路图像匹配失败的情况下，根据历史道路图像的要素识别结果以及目标道路图像的要素识别结果，生成图像要素集合，其中，图像要素集合来源于历史道路图像以及目标道路图像中的至少一项；
更新模块，用于根据图像要素集合，对地图信息进行更新。
本申请另一方面提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述各方面的方法。
本申请的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方面的方法。
本申请的另一个方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方面的方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例中，提供了一种图像匹配的方法，首先，对第一待匹配图像进行特征提取处理，得到K个第一特征图，并且对第二待匹配图像进行特征提取处理，得到K个第二特征图。其中，每个第一特征图包括M个第一特征点，每个第二特征图包括N个第二特征点。再根据K个第一特征图，获取每个第一特征点的第一特征向量，并根据K个第二特征图，获取每个第二特征点的第二特征向量。其中，第一待匹配图像所对应的M个第一特征向量用于描述第一待匹配图像的语义特征以及属性特征，而第二待匹配图像所对应的N个第二特征向量用于描述第二待匹配图像的语义特征以及属性特征。于是，根据各个第一特征向量以及各个第二特征向量，确定特征点配对数量。最后，基于特征点配对数量确定图像匹配结果。通过上述方式，分别对两张图像进行深度特征的提取，得到每张图像中各个特征点的特征向量，这些特征向量能够表征图像的语义特征以及属性特征，因此，能够更全面地学习到图像信息。基于此，利用特征向量实现对特征点的匹配，能够提升对图像整体的理解能力，进而有利于提升图像匹配的准确率。
附图说明
图1为本申请实施例中图像匹配方法的一个实施环境示意图；
图2为本申请实施例中图像匹配方法的一个实施框架示意图；
图3为本申请实施例中图像匹配方法的一个流程示意图；
图4为本申请实施例中调整待匹配图像尺寸的一个示意图；
图5为本申请实施例中调整待匹配图像尺寸的另一个示意图；
图6为本申请实施例中基于待匹配图像生成特征向量的一个示意图；
图7为本申请实施例中基于特征图构建特征向量的一个示意图；
图8为本申请实施例中图像之间进行特征点匹配的一个示意图；
图9为本申请实施例中图像之间进行特征点匹配的另一个示意图；
图10为本申请实施例中基于K最邻近进行特征点匹配的一个示意图；
图11为本申请实施例中地图信息更新方法的一个流程示意图；
图12为本申请实施例中全域场景理解的一个示意图；
图13为本申请实施例中显示图像要素集合的一个示意图；
图14为本申请实施例中图像匹配装置的一个示意图；
图15为本申请实施例中地图信息更新装置的一个示意图；
图16为本申请实施例中计算机设备的一个结构示意图。
具体实施方式
本申请实施例提供了一种图像匹配的方法、地图信息的更新方法以及相关装置，利用用于描述属性特征的元素构建特征向量，基于这些特征向量对图像的特征点进行匹配，能够提升对图像整体的理解能力，进而有利于提升图像匹配的准确率。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应”于以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
图像相似度算法是一种用于评估两个不同图像之间相似度的方法。近年来，计算机视觉(computer vision，CV)技术发展迅速，图像相似度算法受到了广泛关注，且应用前景非常广阔。它可以用于识别复杂的图像，对图像内容进行分析和提取，用于做出更准确的决策和判断，为人工智能(artificial intelligence，AI)技术提供可靠的数据。目前，可使用基于深度学习的分类网络对图像进行识别，根据识别到的结果判定不同图像之间是否相似。或者，提取图像的浅层特征(例如，纹理、边缘、棱角等特征)，根据图像的浅层特征判定不同图像之间是否相似。无论何种方式，在图像匹配的准确率方面还有待提升。
基于此，本申请提供了一种图像匹配的方法，分别对不同的图像进行全域特征的提取，利用全域特征构建每个特征点的特征向量。基于特征向量进行图像相似度比对，以此确定图图差分结果。其中，该全域特征包括图像的语义特征以及属性特征。利用特征点的全域特征能够提升对图像整体的理解能力，进而提升图像匹配的准确率。针对本申请的图像匹配方法，在应用时包括如下场景中的至少一种。
一、地图信息更新场景；
在地图道路数据采集的过程中，为了进行地图信息的更新，需要将新采集的道路图像与历史道路图像进行比对。示例性地，后台数据库中存储有大量历史道路图像，这些道路图像可以是用户主动上传的，也可以是通过采集车拍摄得到的。其中，每张历史道路图像还可以记录其对应的采集位置(例如，经纬度信息)以及采集时间。
基于此，在采集到新的道路图像时，根据该道路图像的采集位置，可以从后台数据库中查找到与该道路图像的采集位置最接近的一张或多张历史道路图像。进一步地，根据历史道路图像的采集时间，可获取最新采集到的一张历史道路图像。使用该历史道路图像与新采集到的道路图像进行相似度比对，从而找到地图中发生变化的要素，进而更新地图。
二、安全监测场景；
在街道、楼宇、学校等公共区域布设监测系统，通过监测系统定时采集公共区域的图像。首先，相关工作人员可以从采集到的图像中选择一张图像作为标准图像。然后，将后续采集到的各张图像分别与标准图像进行相似度比对。如果图像之间相似度较低，则由相关工作人员到相应的场景查看是否存在安全隐患，例如，可能存在店铺招牌歪斜，或者，树木倾斜等情况。基于此，可以及时发现这些公共安全隐患，并及时进行处理。
三、图像筛选场景；
在机器学习领域中，往往会采集大量的图像进行训练。然而，这些图像可能存在大量重复或者类似的情况，因此，还需要进行筛选剔除。为了提升筛选的效率，降低数据筛选所需的人工成本和时间成本，可基于本申请提供的图像匹配方法，对两两图像进行相似度比对。如果图像之间的相似度较高，则认为两张图像重复，因此，可以自动剔除其中一张图像，从而达到图像自动筛选的目的。
需要说明的是，上述应用场景仅为示例，本实施例提供的图像匹配方法还可以应用于其他场景中，此处不做限定。
可以理解的是，本申请涉及图像自动识别领域，具体涉及CV技术。CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，CV研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。CV技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition，OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维(3D)技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请提供的方法可应用于图1所示的实施环境，该实施环境包括终端110和服务器120，且，终端110和服务器120之间可以通过通信网络130进行通信。其中，通信网络130使用标准通信技术和/或协议，通常为因特网，但也可以是任何网络，包括但不限于蓝牙、局域网(local area network，LAN)、城域网(metropolitan area network，MAN)、广域网(widearea network，WAN)、移动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，可使用定制或专用数据通信技术取代或者补充上述数据通信技术。
本申请涉及的终端110包括但不限于手机、行车记录仪、车载拍照设备、平板电脑、笔记本电脑、桌上型电脑、智能语音交互设备、智能家电、车载终端、飞行器等。其中，客户端部署于终端110上，客户端可以通过浏览器的形式运行于终端110上，也可以通过独立的应用程序(application，APP)的形式运行于终端110上等。
本申请涉及的服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content deliverynetwork，CDN)、以及大数据和AI平台等基础云计算服务的云服务器。
结合上述实施环境，在步骤S1中，终端110采集第一待匹配图像。在步骤S2中，终端110通过通信网络130向服务器120发送第一待匹配图像。在步骤S3中，服务器120从数据库中获取第二待匹配图像。基于此，在步骤S4中，服务器120调用特征提取网络，分别对第一待匹配图像和第二待匹配图像进行全域特征的提取处理。在步骤S5中，服务器120基于第一待匹配图像的全域特征构建第一待匹配图像中各个特征点的第一特征向量，并基于第二待匹配图像的全域特征构建第二待匹配图像中各个特征点的第二特征向量。在步骤S6中，基于各个第一特征向量和各个第二特征点向量，对两个待匹配图像中的特征点进行匹配，生成图像匹配结果。
需要说明的是，本申请以特征提取网络的配置部署于服务器120为例进行说明，在一些实施例中，特征提取网络的配置也可以部署于终端110。在一些实施例中，特征提取网络的部分配置部署于终端110，部分配置部署于服务器120。
基于图1所示的实施环境，下面将结合图2，介绍图像匹配方法的一个整体流程。请参阅图2，图2为本申请实施例中图像匹配方法的一个实施框架示意图，如图所示，在步骤A1中，通过终端采集待匹配的图像。在步骤A2中，进行全域场景的理解。其中，步骤A2具体包括步骤A21、步骤A22和步骤A23。在步骤A3中，基于全域场景的理解，输出图像，即，可以将经过全域场景理解后的图像存储至数据库，用于进行后续的相似度比对。
在步骤A21中，利用深度学习和特征提取网络对采集到的图像进行整图特征提取，得到图像所需的全域特征，即，包括图像的语义特征以及属性特征。在步骤A22中，在得到全域特征之后，构建图像中每个特征点的特征向量。由此，对两张图像中的特征点进行匹配，从而得到两张图像的特征点配对数量。在步骤A23中，基于特征点配对数量生成图像匹配结果。如果图像匹配结果指示两张图像匹配成功，则可以进行图图差分。反之，则无法进行图图差分。
鉴于本申请涉及到一些与专业领域相关的术语，为了便于理解，下面将进行解释。
(1)图像要素：是指地图数据图像中的有用物理点信息，例如，交通限制牌、限速牌以及电子眼等。
(2)卷积神经网络(convolutional neural networks，CNN)：是一类包含卷积计算且具有深度结构的前馈神经网络(feedforward neural networks，FNN)，是深度学习(deeplearning)的代表算法之一。
(3)分类网络：用于利用神经网络进行图像要素类别的识别。分类网络的输入为图像数据，分类网络的输出为图像中包含的要素类别。
(4)特征相似度：用于评定两个空间特征相似程度的一种度量。例如，采用距离或角度等来衡量相似程度。
(5)图图差分：对于两张图像，如果找到了不同，则认为场景发生了变化。如果两张图像相似，认为两张图像的内容一致，可以被差分。
结合上述介绍，下面将对本申请中图像匹配的方法进行介绍，请参阅图3，本申请实施例中图像匹配的方法可以由服务器独立完成，也可以由终端独立完成，还可以由终端与服务器配合完成，本申请方法包括：
210、对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
在一个或多个实施例中，获取第一待匹配图像。可以理解的是，第一待匹配图像可以是用户上传的图像，或者，是存储于后台数据库的图像，又或者，是从网页上爬取的图像等，此处不做限定。
具体地，采用特征提取网络对第一待匹配图像进行特征提取处理，由此，得到K个第一特征图。其中，该特征提取网络具体可以采用CNN，或，残差网络(residual network，ResNet)，或，视觉几何组网络(visual geometry group network，VGG network)等。特征提取网络采用K个卷积核(kernel)进行特征提取，每个kernel用于提取一个通道的特征，由此，得到K个通道的第一特征图。其中，每个第一特征图具有相同的尺寸，且，每个第一特征图包括M个第一特征点。例如，第一特征图的尺寸为100×100，那么M为10000。
220、对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，N为大于1的整数；
在一个或多个实施例中，获取第二待匹配图像，可以理解的是，第二待匹配图像可以是用户上传的图像，或者，是存储于后台数据库的图像，又或者，是从网页上爬取的图像等，此处不做限定。其中，第一待匹配图像和第二待匹配图像均为黑白图像，或者均为彩色(red green blue，RGB)图像。针对黑白图像，采用二维kernel，例如，二维kernel的尺寸为5×5。针对RGB图像像，采用三维kernel，例如，三维kernel的尺寸为5×5×3。
具体地，采用特征提取网络对第二待匹配图像进行特征提取处理，由此，得到K个第二特征图。其中，每个第二特征图具有相同的尺寸，且，每个第二特征图包括N个第二特征点。例如，第二特征图的尺寸为100×100，那么N为10000。N与M可以为相同取值，也可以为不同取值，此处不做限定。
230、根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，第一待匹配图像所对应的M个第一特征向量用于描述第一待匹配图像的语义特征以及属性特征；
在一个或多个实施例中，每个第一特征图包括M个第一元素，即，第一特征图中的每个第一特征点对应于一个第一元素。基于此，在得到K个第一特征图之后，将属于同一个位置上的K个第一特征点分别对应的第一元素进行拼接，得到该第一特征点所对应的第一特征向量。由于第一特征向量中的每个第一元素分别来源于不同的第一特征图，因此，基于K个第一特征图可生成M个第一特征向量，每个第一特征向量包括K个第一元素。
具体地，K个kernel中，一部分kernel用于提取图像的语义特征，另一部分kernel用于提取图像的属性特征。其中，语义特征可以有效地归纳出语义信息，例如，“交通限制牌”、“电子眼”等特征。属性特征可以描述语义特征的属性，属性特征包含但不仅限于空间特征、旋转属性、色彩属性等。基于此，M个第一特征向量可用于描述第一待匹配图像的语义特征以及属性特征。
240、根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，第二待匹配图像所对应的N个第二特征向量用于描述第二待匹配图像的语义特征以及属性特征；
在一个或多个实施例中，每个第二特征图包括N个第二元素，即，第二特征图中的每个第二特征点对应于一个第二元素。基于此，在得到K个第二特征图之后，将属于同一个位置上的K个第二特征点分别对应的第二元素进行拼接，得到该第二特征点所对应的第二特征向量。由于第二特征向量中的每个第二元素分别来源于不同的第二特征图，因此，基于K个第二特征图可生成N个第二特征向量，每个第二特征向量包括K个第二元素。类似地，N个第二特征向量可用于描述第二待匹配图像的语义特征以及属性特征。
250、根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
在一个或多个实施例中，将第一待匹配图像所对应的第一特征点与第二待匹配图像所对应的第二特征点进行匹配，并计算匹配成功的特征点配对数量。其中，匹配成功的一个特征点对包括一个第一特征点以及一个第二特征点。假设特征点配对数量为5，即，表示有5个第一特征点与5个第二特征点一一匹配成功。
260、根据特征点配对数量，确定第一待匹配图像与第二待匹配图像之间的图像匹配结果。
在一个或多个实施例中，根据特征点配对数量与参与匹配的特征点总数之间的比值，能够确定第一待匹配图像与第二待匹配图像之间的图像匹配结果。
具体地，如果该比值足够大，则表示匹配成功的特征点数量满足要求，因此，图像匹配结果为两张图像匹配成功。反之，则表示两张图像匹配失败。
本申请实施例中，提供了一种图像匹配的方法。通过上述方式，分别对两张图像进行深度特征的提取，得到每张图像中各个特征点的特征向量，这些特征向量能够表征图像的语义特征以及属性特征，因此，能够更全面地学习到图像信息。基于此，利用特征向量实现对特征点的匹配，能够提升对图像整体的理解能力，进而有利于提升图像匹配的准确率。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，还可以包括：
获取第一待匹配图像以及第二待匹配图像；
在第一待匹配图像的尺寸大于预设尺寸的情况下，对第一待匹配图像进行尺寸缩小处理；
在第一待匹配图像的尺寸小于预设尺寸的情况下，对第一待匹配图像进行尺寸放大处理，或，对第一待匹配图像进行图像填充处理；
在第二待匹配图像的尺寸大于预设尺寸的情况下，对第二待匹配图像进行尺寸缩小处理；
在第二待匹配图像的尺寸小于预设尺寸的情况下，对第二待匹配图像进行尺寸放大处理，或，对第二待匹配图像进行图像填充处理。
在一个或多个实施例中，介绍了一种对待匹配图像进行尺寸调整方式。由前述实施例可知，对第一待匹配图像以及第二待匹配图像改变尺寸(resize)，从而使得第一待匹配图像与第二待匹配图像对应于相同的尺寸。基于此，对第一待匹配图像提取到的第一特征点数量与对第二待匹配图像提取到的第二特征点数量一致，即，M＝N。
一、对图像进行尺寸缩小；
具体地，为了便于理解，请参阅图4，图4为本申请实施例中调整待匹配图像尺寸的一个示意图，如图4中(A)图所示，假设该图像为第一待匹配图像，且，假设第一待匹配图像的尺寸大于预设尺寸。基于此，可对第一待匹配图像进行尺寸等比例缩小处理，使得第一待匹配图像的宽度能够满足预设宽度，或者，高度能够满足预设高度。
如图4中(B)图所示，对第一待匹配图像进行等比例缩小之后，其宽度能够满足预设宽度，但是高度小于预设高度。基于此，还可以对多余的部分进行填充，例如，使用黑色像素点进行填充。
需要说明的是，对于第二待匹配图像也可采用类似方式进行尺寸缩小处理，此处不做赘述。
二、对图像进行尺寸放大；
具体地，为了便于理解，请参阅图5，图5为本申请实施例中调整待匹配图像尺寸的另一个示意图，如图5中(A)图所示，假设该图像为第一待匹配图像，且，假设第一待匹配图像的尺寸小于预设尺寸。基于此，可对第一待匹配图像进行尺寸等比例放大处理，使得第一待匹配图像的宽度能够满足预设宽度，或者，高度能够满足预设高度。
如图5中(B)图所示，对第一待匹配图像进行等比例放大之后，其宽度能够满足预设宽度，但是高度小于预设高度。基于此，还可以对多余的部分进行填充，例如，使用黑色像素点进行填充。
需要说明的是，对于第二待匹配图像也可采用类似方式进行尺寸放大处理，此处不做赘述。
其次，本申请实施例中，提供了一种对待匹配图像进行尺寸调整方式。通过上述方式，能够将参与匹配的图像缩放到统一的尺寸。由此，在特征提取网络的训练阶段和推理阶段，可以保持相同的图像预处理方式，从而充分发挥模型的推理效果。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，对第一待匹配图像进行特征提取处理，得到K个第一特征图，具体包括：
基于第一待匹配图像，通过特征提取网络所包括的卷积层，获取K个第一卷积特征图；
通过特征提取网络所包括的归一化层，对K个第一卷积特征图进行归一化处理，得到K个第一归一化特征图；
通过特征提取网络所包括的激活层，对K个第一归一化特征图进行非线性映射，得到K个第一特征图；
对第二待匹配图像进行特征提取处理，得到K个第二特征图，具体包括：
基于第二待匹配图像，通过特征提取网络所包括的卷积层，获取K个第二卷积特征图；
通过特征提取网络所包括的归一化层，对K个第二卷积特征图进行归一化处理，得到K个第二归一化特征图；
通过特征提取网络所包括的激活层，对K个第二归一化特征图进行非线性映射，得到K个第二特征图。
在一个或多个实施例中，介绍了一种利用特征提取网络提取特征图的方式。由前述实施例可知，特征提取网络可用于提取第一待匹配图像和第二待匹配图像的特征图。其中，特征提取网络包括K个kernel，每个kernel分别用于提取一个特征图。
具体地，为了便于理解，请参阅图6，图6为本申请实施例中基于待匹配图像生成特征向量的一个示意图，如图所示，以第一待匹配图像为例，假设第一待匹配图像为8×8的RGB图像，即，表示为8×8×3。假设特征提取网络使用5个kernel，每个kernel的尺寸为3×3×3。基于此，使用每个kernel分别对第一待匹配图像进行特征提取，基于此，5个kernel即可提取到5个第一特征图，且，假设每个第一特征图的尺寸为6×6。于是，将5个第一特征图中属于同一位置上的第一特征点所对应的第一元素进行拼接，可得到36个第一特征向量，且，每个第一特征向量的维度为5。
在实际应用中，特征提取网络不仅包括卷积层，还可以包括归一化(batchnormalization，BN)以及激活层。其中，激活层可采用整流线性单元(rectified linearunit，ReLU)。
以第一待匹配图像为例，首先，利用特征提取网络所包括的卷积层提取图像边缘纹理等基本特征，由此，得到K个第一卷积特征图。然后，使用特征提取网络所包括的BN层将卷积层提取的K个第一卷积特征图，按照正态分布进行归一化处理，过滤掉特征中的噪声特征，由此，得到K个第一归一化特征图。最后，通过特征提取网络所包括的激活层，对K个第一归一化特征图进行非线性映射，得到K个第一特征图。
需要说明的是，对第二待匹配图像也可以采用类似的方式进行处理，以得到K个第二特征图，此处不做赘述。
其次，本申请实施例中，提供了一种利用特征提取网络提取特征图的方式。通过上述方式，利用特征提取网络所包括的卷积层，能够提取到图像的基本特征。利用归一化层能够过滤掉特征中的噪声，使得模型的收敛更加快速。利用激活层能够加强模型的泛化能力。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，具体包括：
根据K个第一特征图，生成第一待匹配图像的第一特征子以及第一描述子，其中，第一特征子用于描述第一待匹配图像的语义特征，第一描述子用于描述第一待匹配图像的属性特征，第一特征子的尺寸为(w×h×d)，第一描述子的尺寸为(w×h×t)，w表示第一特征图的宽度，h表示第一特征图的高度，d表示深度信息，t表示属性特征的类型数量，w、h、d以及t均为大于1的整数，且，d与t之和等于K；
根据第一特征子以及第一描述子，生成M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，M等于w与h的乘积。
在一个或多个实施例中，介绍了一种构建第一特征向量的方式。由前述实施例可知，利用特征提取网络对第一待匹配图像进行整图特征提取，得到K个第一特征图。其中，K个第一特征图中的d个第一特征图构成第一待匹配图像的第一特征子，K个第一特征图中除去d个第一特征图之后，剩余的t个第一特征图构成第一待匹配图像的第一描述子，
可以理解的是，第一特征子用于描述第一待匹配图像的语义特征，第一描述子用于描述第一待匹配图像的属性特征(例如，空间特征、旋转属性、色彩属性等)。
具体地，为了便于理解，请参阅图7，图7为本申请实施例中基于特征图构建特征向量的一个示意图，如图所示，假设基于第一待匹配图像生成9个第一特征图，其中，图7中的(A)图至(F)图为第一特征子。图7中的(G)图至(I)图为第一描述子。
第一特征子的尺寸为(w×h×d)，即，第一特征子可表示为其中，w表示第一特征图的宽度，h表示第一特征图的高度，d表示深度信息。以图7为例，即，第一特征子的尺寸为(5×5×6)。
第一描述子的尺寸为(w×h×t)，即，第一描述子可表示为其中，w表示第一特征图的宽度，h表示第一特征图的高度，t表示属性特征的类型数量(即，表示第一特征子的描述信息)。以图7为例，即，第一特征子的尺寸为(5×5×3)。例如，图7中(G)图示出的第一特征图用于描述第一特征子的空间特征，图7中(H)图示出的第一特征图用于描述第一特征子的旋转属性，图7中(I)图示出的第一特征图用于描述第一特征子的色彩属性。在得到第一特征子和第一描述子之后，可对相同位置的元素进行融合，用于后续的特征匹配。
示例性地，方式一，可直接对第一特征子和第一描述子进行深度方向的拼接，即：
其中，表示M个第一特征向量。/>表示第一特征子。/>表示第一描述子。/>表示两特征图在深度方向进行拼接。即，/>之后的维度为w×h×(d+t)。
以图7为例，其中，左上角第一个位置上的第一特征点所对应的第一特征向量表示为(0.8,0.1,0.9,0.4,0.2,0.7,0.3,0.4,0.6)。以此类推，可得到25个第一特征点分别对应的第一特征向量。
示例性地，方式二，可直接对第一特征子和第一描述子进行深度方向的拼接，并进行卷积操作，即：
其中，表示M个第一特征向量。/>表示第一特征子。/>表示第一描述子。/>表示两特征图在深度方向进行拼接。/>表示对拼接后特征向量进行卷积操作。
其次，本申请实施例中，提供了一种构建第一特征向量的方式。通过上述方式，在构建第一特征向量时，融合了第一待匹配图像的特征子和描述子。因此，第一特征向量既蕴含了图像的语义信息，又蕴含了图像的关键点特征以及关键点之间的相对位置关系信息。从而能够提升对图像整体的理解能力，有利于提升图像匹配的准确率。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，具体包括：
根据K个第二特征图，生成第二待匹配图像的第二特征子以及第二描述子，其中，第二特征子用于描述第二待匹配图像的语义特征，第二描述子用于描述第二待匹配图像的属性特征，第二特征子的尺寸为(W×H×d)，第二描述子的尺寸为(W×H×t)，W表示第二特征图的宽度，H表示第二特征图的高度，d表示深度信息，t表示属性特征的类型数量，W、H、d以及t均为大于1的整数，且，d与t之和等于K；
根据第二特征子以及第二描述子，生成N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，N等于W与H的乘积。
在一个或多个实施例中，介绍了一种构建第二特征向量的方式。由前述实施例可知，利用特征提取网络对第二待匹配图像进行整图特征提取，得到K个第二特征图。其中，K个第二特征图中的d个第二特征图构成第二待匹配图像的第二特征子，K个第二特征图中除去d个第二特征图之后，剩余的t个第二特征图构成第二待匹配图像的第二描述子，
可以理解的是，第二特征子用于描述第二待匹配图像的语义特征，第二描述子用于描述第二待匹配图像的属性特征(例如，空间特征、旋转属性、色彩属性等)。
具体地，为了便于理解，请再次参阅图7，如图所示，假设基于第二待匹配图像生成9个第二特征图，其中，图7中的(A)图至(F)图为第二特征子。图7中的(G)图至(I)图为第二描述子。
第二特征子的尺寸为(W×H×d)，即，第二特征子可表示为其中，W表示第二特征图的宽度，H表示第二特征图的高度，d表示深度信息。以图7为例，即，第二特征子的尺寸为(5×5×6)。
第二描述子的尺寸为(W×H×t)，即，第二描述子可表示为4＝FW×H×t。其中，w表示第二特征图的宽度，h表示第二特征图的高度，t表示属性特征的类型数量(即，表示第二特征子的描述信息)。以图7为例，即，第二特征子的尺寸为(5×5×3)。例如，图7中(G)图示出的第二特征图用于描述第二特征子的空间特征，图7中(H)图示出的第二特征图用于描述第二特征子的旋转属性，图7中(I)图示出的第二特征图用于描述第二特征子的色彩属性。在得到第二特征子和第二描述子之后，可对相同位置的元素进行融合，用于后续的特征匹配。
示例性地，方式一，可直接对第二特征子和第二描述子进行深度方向的拼接，即：
其中，表示N个第二特征向量。/>表示第二特征子。/>表示第二描述子。/>表示两特征图在深度方向进行拼接。即，/>之后的维度为W×H×(d+t)。
示例性地，方式二，可直接对第二特征子和第二描述子进行深度方向的拼接，并进行卷积操作，即：
其中，表示N个第二特征向量。/>表示第二特征子。/>表示第二描述子。/>表示两特征图在深度方向进行拼接。/>表示对拼接后特征向量进行卷积操作。/>
其次，本申请实施例中，提供了一种构建第二特征向量的方式。通过上述方式，在构建第二特征向量时，融合了第二待匹配图像的特征子和描述子。因此，第二特征向量既蕴含了图像的语义信息，又蕴含了图像的关键点特征以及关键点之间的相对位置关系信息。从而能够提升对图像整体的理解能力，有利于提升图像匹配的准确率。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，具体包括：
将M个第一特征点中的每个第一特征点所对应的第一特征向量，与N个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，特征点对包括一个第一特征点以及一个第二特征点；
根据匹配成功的特征点对，确定特征点配对数量。
在一个或多个实施例中，介绍了一种基于全量特征点确定特征点配对数量的方式。由前述实施例可知，对第一待匹配图像进行特征点提取，得到M个第一特征点。对第二待匹配图像进行特征点提取，得到N个第二特征点。由此，可直接将M个第一特征点与N个第二特征点进行匹配。
具体地，为了便于理解，请参阅图8，图8为本申请实施例中图像之间进行特征点匹配的一个示意图，假设图8中(A)图所示的图像为第一待匹配图像，其中，每个小方格表示一个第一特征点。即，包括96个特征点。此情形下，M＝96。假设图8中(B)图所示的图像为第二待匹配图像，其中，每个小方格表示一个第二特征点。即，包括96个特征点。此情形下，N＝96。将M个第一特征点中的每个第一特征点所对应的第一特征向量，与N个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到9216个特征点对。由此，从9216个特征点对中找出匹配成功的特征点对。假设有2000个特征点对匹配成功，那么特征点配对数量即为2000。
需要说明的是，为了提升匹配效率，还可以缩小匹配范围。例如，将左上方的第一特征点与左上方的第二特征点进行匹配。
其次，本申请实施例中，提供了一种基于全量特征点确定特征点配对数量的方式。通过上述方式，可以将两张待匹配图像中涉及到的各个特征点进行两两匹配，由此，能够穷举所有可能存在匹配关系的特征点对，从而提升特征点匹配的准确度。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，具体包括：
根据每个第一特征点所对应的第一特征向量，从M个第一特征点中获取待匹配的A个第一特征点，其中，A为大于或等于1，且，小于或等于M的整数；
根据每个第二特征点所对应的第二特征向量，从N个第二特征点中获取待匹配的B个第二特征点，其中，B为大于或等于1，且，小于或等于N的整数；
将A个第一特征点中的每个第一特征点所对应的第一特征向量，与B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，特征点对包括一个第一特征点以及一个第二特征点；
根据匹配成功的特征点对，确定特征点配对数量。
在一个或多个实施例中，介绍了一种基于部分特征点确定特征点配对数量的方式。由前述实施例可知，对第一待匹配图像进行特征点提取，得到M个第一特征点。基于每个第一特征点所对应的第一特征向量，从M个第一特征点中筛选出用于匹配的A个第一特征点。类似地，对第人待匹配图像进行特征点提取，得到N个第二特征点。基于每个第二特征点所对应的第二特征向量，从N个第二特征点中筛选出用于匹配的B个第二特征点。
具体地，为了便于理解，请参阅图9，图9为本申请实施例中图像之间进行特征点匹配的另一个示意图，假设图9中(A)图所示的图像为第一待匹配图像，其中，黑色点为从M个第一特征点中筛选出的A个第一特征点，此情形下，A＝22。假设图9中(B)图所示的图像为第二待匹配图像，其中，黑色点为从N个第二特征点中筛选出的B个第二特征点，此情形下，B＝18。将A个第一特征点中的每个第一特征点所对应的第一特征向量，与B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到396个特征点对。由此，从396个特征点对中找出匹配成功的特征点对。假设有18个特征点对匹配成功，那么特征点配对数量即为18。
需要说明的是，为了提升匹配效率，还可以缩小匹配范围。例如，将左上方的第一特征点与左上方的第二特征点进行匹配。
其次，本申请实施例中，提供了一种基于部分特征点确定特征点配对数量的方式。通过上述方式，分别从两张待匹配图像中筛选出部分特征点进行匹配，由此，能够减少特征点匹配的数量，从而降低数据处理复杂度，节省匹配所使用的资源，并且提升匹配效率。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个第一特征点所对应的第一特征向量，从M个第一特征点中获取待匹配的A个第一特征点，具体包括：
针对M个第一特征点中的每个第一特征点，若第一特征点所对应的第一特征向量中每个第一元素大于或等于第一阈值，则将第一特征点作为待匹配的第一特征点；
根据每个第二特征点所对应的第二特征向量，从N个第二特征点中获取待匹配的B个第二特征点，具体包括：
针对N个第二特征点中的每个第二特征点，若第二特征点所对应的第二特征向量中每个第二元素大于或等于第一阈值，则将第二特征点作为待匹配的第二特征点。
在一个或多个实施例中，介绍了一种筛选特征点的方式。由前述实施例可知，由于每个特征点都具有对应的特征向量，因此，可通过特征向量进行判定来筛选相应的特征点。
具体地，以某个第一特征点所对应的第一特征向量为例，假设该第一特征向量表示为(0.8,0.1,0.9,0.4,0.2,0.7,0.3,0.4,0.6)。基于此，分别判断该第一特征向量中的每个第一元素是否大于或等于第一阈值，假设第一阈值为0.5，可见，该第一特征向量中所包括的“0.1”，“0.4”，“0.2”，“0.3”和“0.4”，这五个第一元素均不符合要求，因此，需要剔除该第一特征点。假设某个第一特征点的第一特征向量表示为(0.8,0.9,0.9,0.6,0.6,0.8,0.5,0.9,1.0)。可见，该第一特征向量中所包括的各个第一元素均符合要求，因此，将该第一特征点作为用于进行后续匹配的第一特征点。
需要说明的是，对于其他第一特征点所对应的第一特征向量，以及，各个第二特征点所对应的第二特征向量也进行类似处理，此处不做赘述。
再次，本申请实施例中，提供了一种筛选特征点的方式。通过上述方式，基于特征向量的各个元素过滤掉一部分语义表达效果较弱的特征点。由此，减少特征点匹配的数据量，从而有利于提升匹配效率，并节省匹配所需资源。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个第一特征点所对应的第一特征向量，从M个第一特征点中获取待匹配的A个第一特征点，具体包括：
针对M个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量，计算得到第一特征点所对应的元素平均值；
针对M个第一特征点中的每个第一特征点，若第一特征点所对应的元素平均值大于或等于第二阈值，则将第一特征点作为待匹配的第一特征点；
根据每个第二特征点所对应的第二特征向量，从N个第二特征点中获取待匹配的B个第二特征点，具体包括：
针对N个第二特征点中的每个第二特征点，根据第二特征点所对应的第二特征向量，计算得到第二特征点所对应的元素平均值；
针对N个第二特征点中的每个第二特征点，若第二特征点所对应的元素平均值大于或等于第二阈值，则将第二特征点作为待匹配的第二特征点。
在一个或多个实施例中，介绍了另一种筛选特征点的方式。由前述实施例可知，由于每个特征点都具有对应的特征向量，因此，可通过特征向量进行判定来筛选相应的特征点。
具体地，以某个第一特征点所对应的第一特征向量为例，假设该第一特征向量表示为(0.8,0.1,0.9,0.4,0.2,0.7,0.3,0.4,0.6)。基于此，对该第一特征向量求元素平均值，得到第一特征点所对应的元素平均值为0.49。假设第二阈值为0.4，可见，该第一特征点所对应的的元素平均值大于第二阈值，因此，可以将该第一特征点作为用于进行后续匹配的第一特征点。反之，如果第一特征点所对应的的元素平均值小于第二阈值，则需要剔除该第一特征点。
需要说明的是，对于其他第一特征点所对应的第一特征向量，以及，各个第二特征点所对应的第二特征向量也进行类似处理，此处不做赘述。
再次，本申请实施例中，提供了另一种筛选特征点的方式。通过上述方式，基于特征向量的元素平均值过滤掉一部分语义表达效果较弱的特征点，由此，减少特征点匹配的数据量，从而有利于提升匹配效率，并节省匹配所需资源。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据每个第一特征点所对应的第一特征向量，从M个第一特征点中获取待匹配的A个第一特征点，具体包括：
针对M个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量，计算得到第一特征点所对应的元素数量，其中，第一特征点所对应的元素数量为第一特征向量中第一元素大于或等于元素阈值的个数；
针对M个第一特征点中的每个第一特征点，若第一特征点所对应的元素数量大于或等于第三阈值，则将第一特征点作为待匹配的第一特征点；
根据每个第二特征点所对应的第二特征向量，从N个第二特征点中获取待匹配的B个第二特征点，具体包括：
针对N个第二特征点中的每个第二特征点，根据第二特征点所对应的第二特征向量，计算得到第二特征点所对应的元素数量，其中，第二特征点所对应的元素数量为第二特征向量中第二元素大于或等于元素阈值的个数；
针对N个第二特征点中的每个第二特征点，若第二特征点所对应的元素数量大于或等于第三阈值，则将第二特征点作为待匹配的第二特征点。
在一个或多个实施例中，介绍了另一种筛选特征点的方式。由前述实施例可知，由于每个特征点都具有对应的特征向量，因此，可通过特征向量进行判定来筛选相应的特征点。
具体地，以某个第一特征点所对应的第一特征向量为例，假设该第一特征向量表示为(0.8,0.1,0.9,0.4,0.2,0.7,0.3,0.4,0.6)。基于此，统计该第一特征向量中的第一元素大于或等于元素阈值的个数。假设元素阈值为0.5，可见，该第一特征向量中有4个第一元素大于元素阈值，即，该第一特征点所对应的元素数量为4。假设第三阈值为6，那么第一特征点所对应的元素数量小于第三阈值，因此，需要剔除该第一特征点。反之，如果第一特征点所对应的元素数量大于或等于第三阈值，则将该第一特征点作为用于进行后续匹配的第一特征点。
需要说明的是，对于其他第一特征点所对应的第一特征向量，以及，各个第二特征点所对应的第二特征向量也进行类似处理，此处不做赘述。
再次，本申请实施例中，提供了另一种筛选特征点的方式。通过上述方式，基于特征向量的元素统计情况过滤掉一部分语义表达效果较弱的特征点。由此，减少特征点匹配的数据量，从而有利于提升匹配效率，并节省匹配所需资源。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，将A个第一特征点中的每个第一特征点所对应的第一特征向量，与B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，具体包括：
针对A个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量以及B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到第一特征点与B个第二特征点中的每个第二特征点之间的距离；
针对A个第一特征点中的每个第一特征点，获取最邻近距离所对应的第二特征点以及次邻近距离所对应的第二特征点；
针对A个第一特征点中的每个第一特征点，将最邻近距离与次邻近距离之间的比值作为最近邻距离比值；
针对A个第一特征点中的每个第一特征点，若最近邻距离比值小于或等于距离比值阈值，则最邻近距离所对应的第二特征点以及第一特征点，作为匹配成功的一组特征点对。
在一个或多个实施例中，介绍了一种进行特征点匹配的方式。由前述实施例可知，可采用K最邻近(k-nearest neighbor，KNN)算法进行特征点匹配，通过找到特征空间最接近的特征点作为匹配关系，从而得到两张图像所对应的特征点匹配结果。下面将结合图示，介绍特征点匹配的过程。
示例性地，为了便于理解，请参阅图10，图10为本申请实施例中基于K最邻近进行特征点匹配的一个示意图，如图10中(A)图所示，以第一特征点a1为例，首先，分别计算第一特征点a1与B个第二特征点之前的距离。通常，两个特征向量之间的距离越小，表示这两个特征向量所对应的两个特征点越接近。然后，根据第一特征点a1与其他各个第二特征点之间的距离，找到最邻近距离所对应的第二特征点(即，第二特征点b1)以及次邻近距离所对应的第二特征点(即，第二特征点c1)。
基于此，采用如下方式计算最近邻距离比值：
LR＝D1/D2；公式(5)
其中，LR表示最近邻距离比值。D1表示最邻近距离，即，第一特征点a1与第二特征点b1之间的距离。D2表示最邻近距离，即，第一特征点a1与第二特征点c1之间的距离。
如果最近邻距离比值小于或等于距离比值阈值，则表示第一特征点a1与第二特征点b1匹配成功。即，第一特征点a1与第二特征点b1为匹配成功的一组特征点对。其中，距离比值阈值可以设置为0.5或其他参数，此处不做限定。
如图10中(B)图所示，以第一特征点a2为例，首先，分别计算第一特征点a2与B个第二特征点之前的距离。然后，根据第一特征点a2与其他各个第二特征点之间的距离，找到最邻近距离所对应的第二特征点(即，第二特征点b2)以及次邻近距离所对应的第二特征点(即，第二特征点c2)。基于公式(5)可知，此时，D1表示第一特征点a2与第二特征点b2之间的距离，D2表示第一特征点a2与第二特征点c2之间的距离。如果最近邻距离比值大于距离比值阈值，则表示第一特征点a2未能匹配到第二特征点。
需要说明的是，本申请还可以采用其他方式对两个图像中的特征点进行匹配，例如，采用面向角点检测和旋转描述子(oriented FAST and rotated BRIEF，ORB)算法，或者，快速最近邻(fast library for approximate nearest neighbors，FLANN)算法等。
再次，本申请实施例中，提供了一种进行特征点匹配的方式。通过上述方式，采用KNN算法进行特征点匹配，具有简单且有效的优势。与此同时，适用于样本容量较大的自动匹配，且，匹配准确度较高。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，将A个第一特征点中的每个第一特征点所对应的第一特征向量，与B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，具体包括：
针对A个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量以及B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到第一特征点与B个第二特征点中的每个第二特征点之间的距离；
针对A个第一特征点中的每个第一特征点，若存在至少一个距离小于或等于距离阈值，则将至少一个距离中的最小距离所对应得到第二特征点以及第一特征点，作为匹配成功的一组特征点对。
在一个或多个实施例中，介绍了另一种进行特征点匹配的方式。由前述实施例可知，根据第一特征点的第一特征向量以及第二特征点的第二特征向量，可计算得到该第一特征点与该第二特征点之间的的距离。距离越小表示特征点之间越相近，即，匹配度越高。
具体地，以任意一个第一特征点以及任意一个第二特征点为例，可采用如下方式计算该第一特征点与该第二特征点之间的欧式距离：
其中，d表示第一特征点与该第二特征点之间的欧式距离。K表示特征向量的维度。xi表示第一特征向量中的第i个第一元素。yi表示第二特征向量中的第i个第二元素。
基于此，可以利用公式(6)计算某个第一特征点与各个第二特征点之间的距离，如果这些距离均大于距离阈值，则表示该第一特征点没有与之匹配的第二特征点。如果与第一特征点有且只有一个距离小于或等于距离阈值的第二特征点，则将该第一特征点和该第二特征点直接作为匹配成功的一组特征点对。如果与第一特征点有至少两个距离小于或等于距离阈值的第二特征点，则需要先确定最小距离所对应的第二特征点，然后，将该第一特征点和该第二特征点直接作为匹配成功的一组特征点对。
可以理解的是，上述实施例是以计算欧式距离为例进行介绍的。在实际应用中，还可以其他特征点之间其他类型的距离，例如，曼哈顿距离，切比雪夫距离，余弦距离等，此处不做穷举。
再次，本申请实施例中，提供了另一种进行特征点匹配的方式。通过上述方式，将特征向量之间的相似性距离作为判定两个特征点是否匹配的依据，从而增加了方案的可行性和可操作性。
可选地，在上述图3对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，根据特征点配对数量，确定第一待匹配图像与第二待匹配图像之间的图像匹配结果，具体包括：
根据M个第一特征点以及N个第二特征点，获取参与特征点匹配的最大特征点数量，其中，最大特征点数量为参与匹配的第一特征点数量以及参与匹配的第二特征点数量的最大值；
获取特征点配对数量与最大特征点数量的目标比值；
若目标比值大于比值阈值，则确定第一待匹配图像与第二待匹配图像之间的图像匹配结果为图像匹配成功；
若目标比值小于或等于比值阈值，则确定第一待匹配图像与第二待匹配图像之间的图像匹配结果为图像匹配失败。
在一个或多个实施例中，介绍了一种确定图像匹配结果的方式。由前述实施例可知，在得到特征点配对数量之后，还可以根据第一特征点的数量和第二特征点的数量，进一步判断两张图像是否匹配成功。
一、基于全量特征点匹配；
具体地，基于第一待匹配图像提取到M个第一特征点，基于第二待匹配图像提取到N个第二特征点。于是，根据M个第一特征点以及N个第二特征点，获取参与特征点匹配的最大特征点数量。即，如果M大于N，则最大特征点数量为M。如果N大于M，则最大特征点数量为N。
基于此，可采用如下方式计算目标比值：
其中，C表示特征点配对数量。max(M,N)表示最大特征点数量。M表示第一特征点的数量。N表示第二特征点的数量。表示比值阈值。threshold表示比值阈值，例如，比值阈值可以设置为0.8。
二、基于筛选后的特征点进行匹配；
具体地，基于第一待匹配图像提取到M个第一特征点，并从M个第一特征点中获取待匹配的A个第一特征点。基于第二待匹配图像提取到N个第二特征点，并从N个第二特征点中获取待匹配的B个第二特征点。于是，根据A个第一特征点以及B个第二特征点，获取参与特征点匹配的最大特征点数量。即，如果A大于B，则最大特征点数量为A。如果B大于A，则最大特征点数量为B。
基于此，可采用如下方式计算目标比值：
其中，C表示特征点配对数量。max(A,B)表示最大特征点数量。A表示第一特征点的数量。B表示第二特征点的数量。表示比值阈值。threshold表示比值阈值，例如，比值阈值可以设置为0.8。
如果目标比值大于比值阈值，则表示第一待匹配图像与第二待匹配图像匹配成功，可以进行图图差分。反之，如果目标比值小于或等于比值阈值，则表示第一待匹配图像与第二待匹配图像匹配失败，无法进行图图差分。
其次，本申请实施例中，提供了一种确定图像匹配结果的方式。通过上述方式，根据特征点配对数量与最大特征点数量之间的比值，判定特征点匹配的数量是否足够多。由此，能够生成图像匹配结果，从而提升图像匹配的可靠性。
下面将对本申请中地图信息的更新方法进行介绍，请参阅图11，本申请实施例中地图信息的更新方法可以由服务器独立完成，也可以由终端独立完成，还可以由终端与服务器配合完成，本申请方法包括：
310、对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
在一个或多个实施例中，获取历史道路图像。可以理解的是，历史道路图像通过车载拍照设备对前方行驶道路进行拍照后得到的图像，或，是用户通过终端上传的道路图像等。
具体地，采用特征提取网络对历史道路图像进行特征提取处理，由此，得到K个第一特征图。特征提取网络采用K个kernel进行特征提取，每个kernel用于提取一个通道的特征，由此，得到K个通道的第一特征图，每个第一特征图具有相同的尺寸。
本实施例中的步骤310与前述图3所示实施例中的步骤210类似，具体此处不再赘述。
320、对目标道路图像进行特征提取处理，得到K个第二特征图，其中，目标道路图像的采集时间晚于历史道路图像的采集时间，每个第二特征图包括N个第二特征点，N为大于1的整数；
在一个或多个实施例中，获取目标道路图像，可以理解的是，目标道路图像通过车载拍照设备对前方行驶道路进行拍照后得到的图像，或，是用户通过终端上传的道路图像等。其中，目标道路图像的采集时间比历史道路图像的采集时间更晚，且，通常情况下，目标道路图像与历史道路图像为的采集点相同或相近(例如，同一街道或同一停车场等)。目标道路图像和历史道路图像均为黑白图像，或者均为RGB图像。
具体地，采用特征提取网络对目标道路图像进行特征提取处理，由此，得到K个第二特征图。其中，每个第二特征图具有相同的尺寸，每个第二特征图包括N个第二特征点。
本实施例中的步骤320与前述图3所示实施例中的步骤220类似，具体此处不再赘述。
330、根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，历史道路图像所对应的M个第一特征向量用于描述历史道路图像的语义特征以及属性特征；
在一个或多个实施例中，步骤330与前述图3所示实施例中的步骤230类似，其中，M个第一特征向量可用于描述历史道路图像的语义特征以及属性特征，具体此处不再赘述。
340、根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，目标道路图像所对应的N个第二特征向量用于描述目标道路图像的语义特征以及属性特征；
在一个或多个实施例中，步骤340与前述图3所示实施例中的步骤240类似，其中，N个第二特征向量可用于描述目标道路图像的语义特征以及属性特征，具体此处不再赘述。
350、根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
在一个或多个实施例中，步骤350与前述图3所示实施例中的步骤250类似，具体此处不再赘述。
360、在根据特征点配对数量，确定历史道路图像与目标道路图像匹配失败的情况下，根据历史道路图像的要素识别结果以及目标道路图像的要素识别结果，生成图像要素集合，其中，图像要素集合来源于历史道路图像以及目标道路图像中的至少一项；
在一个或多个实施例中，根据特征点配对数量与参与特征点匹配的最大特征点数量之间的目标比值，判断目标比值是否大于比值阈值。若是，则确定第一待匹配图像与第二待匹配图像之间的图像匹配结果为图像匹配成功。反之，则匹配失败。
370、根据图像要素集合，对地图信息进行更新。
在一个或多个实施例中，在得到图像要素集合之后，根据图像要素集合所包括的要素所对应的类别信息，判定是否需要对地图信息进行更新。如果图像要素集合中的要素所对应的类别信息为可更新类别信息，则可以对地图信息进行更新。其中，可更新类别信息包含但不仅限于路牌、指示灯、电子眼等。
具体地，为了便于理解，请参阅图12，图12为本申请实施例中全域场景理解的一个示意图，如图所示，分别对历史道路图像以及目标道路图像进行全域特征提取。以提取历史道路图像的特征为例，首先，将历史道路图像输入至特征提取网络，通过特征提取网络输出K个第一特征图，表示为Fw×h×K。其中，w表示第一特征图的宽度，h表示第一特征图的高度，K表示第一特征图的数量。进一步地，DK表示单个第一特征图。dij表示第i行第j列个特征点所对应的属性特征。
基于此，可分别得到历史道路图像中的各个第一特征点，以及目标道路图像中的各个第二特征点。于是，将各个第一特征点所对应的全域特征(即，第一特征向量)与各个第二特征点所对应的全域特征(即，第二特征向量)进行匹配。全域特征匹配的方式可以是KNN算法，或ORB算法，或FLANN算法等，此处不做限定。
生成历史道路图像与目标道路图像之间的特征点匹配结果。进一步地，可根据软性检测模块(soft detection module)得到的各个要素的类别信息以及位置信息，确定是否需要基于区别要素进行地图更新。
在软性检测模块中，以K个第一特征图为例，将其中第R个第一特征图中的第i行第j列特征点表示为基于最大值比率(ratio-to-max)从K个第一特征图中找出每个通道中置信度最高的第一特征点，并基于软性非极大值抑制(soft non maximum suppression，soft-NMS)找到每个第一特征点中置信度最高的第一特征点。由此，生成各个第一特征点的置信度得分，从而得到历史道路图像中各个要素的类别信息以及位置信息。
需要说明的是，在实际应用中，除了可以使用Soft NMS进行目标检测之外，还可以采用非极大值抑制(non maximum suppression，NMS)，或者，距离重叠度非极大值抑制(distance intersection over union NMS，DIOU NMS)，或者，加权非极大值抑制(weighted NMS)等方式进行目标检测，此处不做限定。
本申请实施例中，提供了一种地图信息的更新方法。通过上述方式，分别对两张图像进行深度特征的提取，得到每张图像中各个特征点的特征向量，这些特征向量能够表征图像的语义特征以及属性特征，因此，能够更全面地学习到图像信息。基于此，利用特征向量实现对特征点的匹配，能够提升对图像整体的理解能力，有利于提升图像匹配的准确率。进而可以根据图像匹配进行变化点的发现与更新，从而提升地图信息更新的能力，解决地图信息更新中新旧资料匹配错误带来的地图更新错误的问题。
可选地，在上述图11对应的一个或多个实施例的基础上，本申请实施例提供的另一个可选实施例中，还可以包括：
对历史道路图像进行目标识别，得到历史道路图像的要素识别结果，其中，历史道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
对目标道路图像进行目标识别，得到目标道路图像的要素识别结果，其中，目标道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
根据历史道路图像的要素识别结果以及目标道路图像的要素识别结果，生成图像要素集合，具体包括：
从目标道路图像中确定匹配失败的第二特征点集合，其中，第二特征点集合包括至少一个第二特征点；
根据第二特征点集合以及目标道路图像的要素识别结果，确定图像要素集合。
将候选要素集合与历史道路图像的要素识别结果进行比对，确定图像要素集合。
在一个或多个实施例中，介绍了一种自动识别图像要素集合的方式。由前述实施例可知，利用特征提取网络分别提取历史道路图像以及目标道路图像的特征。其中，特征提取网络属于目标检测模型的一部分，本申请所采用的目标检测模型可以是区域卷积神经网络(region-CNN，RCNN)，或者，快速区域卷积神经网络(fast region-CNN，faster RCNN)等。基于此，通过目标检测模型可分别检测出历史道路图像的要素识别结果以及目标道路图像的要素识别结果。
需要说明的是，要素识别结果包括要素的类别信息(例如，车牌，电子眼，交通牌等)以及位置信息，其中，位置信息可以表示为边框(bounding box，BBOX)。
具体地，为了便于理解，请参阅图13，图13为本申请实施例中显示图像要素集合的一个示意图，图13中(A)图所示的为历史道路图像，B1用于指示要素A的位置信息，要素A的类别信息为“树”。B2用于指示要素B的位置信息，要素B的类别信息为“车”。B3用于指示要素C的位置信息，要素C的类别信息为“树”。图13中(B)图所示的为目标道路图像，C1用于指示要素X的位置信息，要素X的类别信息为“树”。C2用于指示要素Y的位置信息，要素Y的类别信息为“树”。
图13中(C)图所示的为历史道路图像中参与匹配的各个第一特征点，图13中(D)图所示的为目标道路图像中参与匹配的各个第二特征点。基于匹配结果可见，在为目标道路图像中有一部分第二特征值点未匹配失败，即，得到匹配失败的第二特征点集合。
根据第二特征点集合中各个第二特征点所对应的位置以及目标道路图像的要素识别结果，可以确定未匹配成功的要素。以图13为例，未匹配成功的要素包括B2所指示的要素，由此，确定图像要素集合包括B2所指示的要素。
其次，本申请实施例中，提供了一种自动识别图像要素集合的方式。通过上述方式，利用特征点匹配以及目标检测算法，能够自动识别出两张图像中不匹配的图像要素，从而基于图像要素进行地图更新。由此，可以节省地图更新成本，达到自动化检测的目的。
下面对本申请中的图像匹配装置进行详细描述，请参阅图14，图14为本申请实施例中图像匹配装置的一个实施例示意图，图像匹配装置40包括：
处理模块410，用于对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
处理模块410，还用于对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，N为大于1的整数；
获取模块420，用于根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，第一待匹配图像所对应的M个第一特征向量用于描述第一待匹配图像的语义特征以及属性特征；
获取模块420，还用于根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，第二待匹配图像所对应的N个第二特征向量用于描述第二待匹配图像的语义特征以及属性特征；
确定模块430，用于根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
确定模块430，还用于根据特征点配对数量，确定第一待匹配图像与第二待匹配图像之间的图像匹配结果。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
获取模块420，还用于获取第一待匹配图像以及第二待匹配图像；
处理模块410，还用于在第一待匹配图像的尺寸大于预设尺寸的情况下，对第一待匹配图像进行尺寸缩小处理；
处理模块410，还用于在第一待匹配图像的尺寸小于预设尺寸的情况下，对第一待匹配图像进行尺寸放大处理，或，对第一待匹配图像进行图像填充处理；
处理模块410，还用于在第二待匹配图像的尺寸大于预设尺寸的情况下，对第二待匹配图像进行尺寸缩小处理；
处理模块410，还用于在第二待匹配图像的尺寸小于预设尺寸的情况下，对第二待匹配图像进行尺寸放大处理，或，对第二待匹配图像进行图像填充处理。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
处理模块410，具体用于基于第一待匹配图像，通过特征提取网络所包括的卷积层，获取K个第一卷积特征图；
通过特征提取网络所包括的归一化层，对K个第一卷积特征图进行归一化处理，得到K个第一归一化特征图；
通过特征提取网络所包括的激活层，对K个第一归一化特征图进行非线性映射，得到K个第一特征图；
处理模块410，具体用于基于第二待匹配图像，通过特征提取网络所包括的卷积层，获取K个第二卷积特征图；
通过特征提取网络所包括的归一化层，对K个第二卷积特征图进行归一化处理，得到K个第二归一化特征图；
通过特征提取网络所包括的激活层，对K个第二归一化特征图进行非线性映射，得到K个第二特征图。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
获取模块420，具体用于根据K个第一特征图，生成第一待匹配图像的第一特征子以及第一描述子，其中，第一特征子用于描述第一待匹配图像的语义特征，第一描述子用于描述第一待匹配图像的属性特征，第一特征子的尺寸为(w×h×d)，第一描述子的尺寸为(w×h×t)，w表示第一特征图的宽度，h表示第一特征图的高度，d表示深度信息，t表示属性特征的类型数量，w、h、d以及t均为大于1的整数，且，d与t之和等于K；
根据第一特征子以及第一描述子，生成M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，M等于w与h的乘积。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
获取模块420，具体用于根据K个第二特征图，生成第二待匹配图像的第二特征子以及第二描述子，其中，第二特征子用于描述第二待匹配图像的语义特征，第二描述子用于描述第二待匹配图像的属性特征，第二特征子的尺寸为(W×H×d)，第二描述子的尺寸为(W×H×t)，W表示第二特征图的宽度，H表示第二特征图的高度，d表示深度信息，t表示属性特征的类型数量，W、H、d以及t均为大于1的整数，且，d与t之和等于K；
根据第二特征子以及第二描述子，生成N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，N等于W与H的乘积。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于将M个第一特征点中的每个第一特征点所对应的第一特征向量，与N个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，特征点对包括一个第一特征点以及一个第二特征点；
根据匹配成功的特征点对，确定特征点配对数量。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于根据每个第一特征点所对应的第一特征向量，从M个第一特征点中获取待匹配的A个第一特征点，其中，A为大于或等于1，且，小于或等于M的整数；
根据每个第二特征点所对应的第二特征向量，从N个第二特征点中获取待匹配的B个第二特征点，其中，B为大于或等于1，且，小于或等于N的整数；
将A个第一特征点中的每个第一特征点所对应的第一特征向量，与B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，特征点对包括一个第一特征点以及一个第二特征点；
根据匹配成功的特征点对，确定特征点配对数量。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于针对M个第一特征点中的每个第一特征点，若第一特征点所对应的第一特征向量中每个第一元素大于或等于第一阈值，则将第一特征点作为待匹配的第一特征点；
确定模块430，具体用于针对N个第二特征点中的每个第二特征点，若第二特征点所对应的第二特征向量中每个第二元素大于或等于第一阈值，则将第二特征点作为待匹配的第二特征点。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于针对M个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量，计算得到第一特征点所对应的元素平均值；
针对M个第一特征点中的每个第一特征点，若第一特征点所对应的元素平均值大于或等于第二阈值，则将第一特征点作为待匹配的第一特征点；
确定模块430，具体用于针对N个第二特征点中的每个第二特征点，根据第二特征点所对应的第二特征向量，计算得到第二所述第一待匹配图像特征点所对应的元素平均值；
针对N个第二特征点中的每个第二特征点，若第二特征点所对应的元素平均值大于或等于第二阈值，则将第二特征点作为待匹配的第二特征点。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于针对M个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量，计算得到第一特征点所对应的元素数量，其中，第一特征点所对应的元素数量为第一特征向量中第一元素大于或等于元素阈值的个数；
针对M个第一特征点中的每个第一特征点，若第一特征点所对应的元素数量大于或等于第三阈值，则将第一特征点作为待匹配的第一特征点；
确定模块430，具体用于针对N个第二特征点中的每个第二特征点，根据第二特征点所对应的第二特征向量，计算得到第二特征点所对应的元素数量，其中，第二特征点所对应的元素数量为第二特征向量中第二元素大于或等于元素阈值的个数；
针对N个第二特征点中的每个第二特征点，若第二特征点所对应的元素数量大于或等于第三阈值，则将第二特征点作为待匹配的第二特征点。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于针对A个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量以及B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到第一特征点与B个第二特征点中的每个第二特征点之间的距离；
针对A个第一特征点中的每个第一特征点，获取最邻近距离所对应的第二特征点以及次邻近距离所对应的第二特征点；
针对A个第一特征点中的每个第一特征点，将最邻近距离与次邻近距离之间的比值作为最近邻距离比值；
针对A个第一特征点中的每个第一特征点，若最近邻距离比值小于或等于距离比值阈值，则最邻近距离所对应的第二特征点以及第一特征点，作为匹配成功的一组特征点对。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于针对A个第一特征点中的每个第一特征点，根据第一特征点所对应的第一特征向量以及B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到第一特征点与B个第二特征点中的每个第二特征点之间的距离；
针对A个第一特征点中的每个第一特征点，若存在至少一个距离小于或等于距离阈值，则将至少一个距离中的最小距离所对应得到第二特征点以及第一特征点，作为匹配成功的一组特征点对。
可选地，在上述图14所对应的实施例的基础上，本申请实施例提供的图像匹配装置40的另一实施例中，
确定模块430，具体用于根据M个第一特征点以及N个第二特征点，获取参与特征点匹配的最大特征点数量，其中，最大特征点数量为参与匹配的第一特征点数量以及参与匹配的第二特征点数量的最大值；
获取特征点配对数量与最大特征点数量的目标比值；
若目标比值大于比值阈值，则确定第一待匹配图像与第二待匹配图像之间的图像匹配结果为图像匹配成功；
若目标比值小于或等于比值阈值，则确定第一待匹配图像与第二待匹配图像之间的图像匹配结果为图像匹配失败。
下面对本申请中的地图信息更新装置进行详细描述，请参阅图15，图15为本申请实施例中地图信息更新装置的一个实施例示意图，地图信息更新装置50包括：
处理模块510，用于对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，K为大于或等于1的整数，M为大于1的整数；
处理模块510，还用于对目标道路图像进行特征提取处理，得到K个第二特征图，其中，目标道路图像的采集时间晚于历史道路图像的采集时间，每个第二特征图包括N个第二特征点，N为大于1的整数；
获取模块520，用于根据K个第一特征图，获取M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，历史道路图像所对应的M个第一特征向量用于描述历史道路图像的语义特征以及属性特征；
获取模块520，还用于根据K个第二特征图，获取N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，目标道路图像所对应的N个第二特征向量用于描述目标道路图像的语义特征以及属性特征；
确定模块530，用于根据每个第一特征点所对应的第一特征向量以及每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，特征点配对数量表示第一特征点与第二特征点之间匹配成功的数量；
生成模块540，还用于在根据特征点配对数量，确定历史道路图像与目标道路图像匹配失败的情况下，根据历史道路图像的要素识别结果以及目标道路图像的要素识别结果，生成图像要素集合，其中，图像要素集合来源于历史道路图像以及目标道路图像中的至少一项；
更新模块550，用于根据图像要素集合，对地图信息进行更新。
可选地，在上述图15所对应的实施例的基础上，本申请实施例提供的地图信息更新装置50的另一实施例中，地图信息更新装置50还包括识别模块560；
识别模块560，用于对历史道路图像进行目标识别，得到历史道路图像的要素识别结果，其中，历史道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
识别模块560，还用于对目标道路图像进行目标识别，得到目标道路图像的要素识别结果，其中，目标道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
生成模块540，具体用于从目标道路图像中确定匹配失败的第二特征点集合，其中，第二特征点集合包括至少一个第二特征点；
根据第二特征点集合以及目标道路图像的要素识别结果，确定图像要素集合。
图16是本申请实施例提供的一种计算机设备结构示意图，该计算机设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(centralprocessing units，CPU)622(例如，一个或一个以上处理器)和存储器632，一个或一个以上存储应用程序642或数据644的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器632和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，中央处理器622可以设置为与存储介质630通信，在计算机设备600上执行存储介质630中的一系列指令操作。
计算机设备600还可以包括一个或一个以上电源626，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口658，和/或，一个或一个以上操作系统641，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
上述实施例中由计算机设备所执行的步骤可以基于该图16所示的计算机设备结构。
本申请实施例中还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现前述各个实施例描述方法的步骤。
本申请实施例中还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，实现前述各个实施例描述方法的步骤。
可以理解的是，在本申请的具体实施方式中，涉及到用户信息，道路图像等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是服务器或终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (32)

1.一种图像匹配的方法，其特征在于，包括：
对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，所述K为大于或等于1的整数，所述M为大于1的整数；
对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，所述N为大于1的整数；
根据所述K个第一特征图，生成所述第一待匹配图像的第一特征子以及第一描述子，其中，所述第一特征子用于描述所述第一待匹配图像的语义特征，所述第一描述子用于描述所述第一待匹配图像的属性特征；所述属性特征用于描述所述语义特征的属性；
根据所述第一特征子以及所述第一描述子，生成所述M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，所述第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，所述第一待匹配图像所对应的M个第一特征向量用于描述所述第一待匹配图像的语义特征以及属性特征；
根据所述K个第二特征图，生成所述第二待匹配图像的第二特征子以及第二描述子，其中，所述第二特征子用于描述所述第二待匹配图像的语义特征，所述第二描述子用于描述所述第二待匹配图像的属性特征；
根据所述第二特征子以及所述第二描述子，生成所述N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，所述第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，所述第二待匹配图像所对应的N个第二特征向量用于描述所述第二待匹配图像的语义特征以及属性特征；
根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，所述特征点配对数量表示所述第一特征点与所述第二特征点之间匹配成功的数量；
根据所述特征点配对数量，确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一待匹配图像以及所述第二待匹配图像；
在所述第一待匹配图像的尺寸大于预设尺寸的情况下，对所述第一待匹配图像进行尺寸缩小处理；
在所述第一待匹配图像的尺寸小于所述预设尺寸的情况下，对所述第一待匹配图像进行尺寸放大处理，或，对所述第一待匹配图像进行图像填充处理；
在所述第二待匹配图像的尺寸大于所述预设尺寸的情况下，对所述第二待匹配图像进行尺寸缩小处理；
在所述第二待匹配图像的尺寸小于所述预设尺寸的情况下，对所述第二待匹配图像进行尺寸放大处理，或，对所述第二待匹配图像进行图像填充处理。
3.根据权利要求1所述的方法，其特征在于，所述对第一待匹配图像进行特征提取处理，得到K个第一特征图，包括：
基于所述第一待匹配图像，通过特征提取网络所包括的卷积层，获取K个第一卷积特征图；
通过所述特征提取网络所包括的归一化层，对所述K个第一卷积特征图进行归一化处理，得到K个第一归一化特征图；
通过所述特征提取网络所包括的激活层，对所述K个第一归一化特征图进行非线性映射，得到所述K个第一特征图；
所述对第二待匹配图像进行特征提取处理，得到K个第二特征图，包括：
基于所述第二待匹配图像，通过所述特征提取网络所包括的卷积层，获取K个第二卷积特征图；
通过所述特征提取网络所包括的归一化层，对所述K个第二卷积特征图进行归一化处理，得到K个第二归一化特征图；
通过所述特征提取网络所包括的激活层，对所述K个第二归一化特征图进行非线性映射，得到所述K个第二特征图。
4.根据权利要求1所述的方法，其特征在于，所述第一特征子的尺寸为(w×h×d)，所述第一描述子的尺寸为(w×h×t)，所述w表示所述第一特征图的宽度，所述h表示所述第一特征图的高度，所述d表示深度信息，所述t表示所述属性特征的类型数量，所述w、所述h、所述d以及所述t均为大于1的整数，且，所述d与所述t之和等于所述K；所述M等于所述w与所述h的乘积。
5.根据权利要求1所述的方法，其特征在于，所述第二特征子的尺寸为(W×H×d)，所述第二描述子的尺寸为(W×H×t)，所述W表示所述第二特征图的宽度，所述H表示所述第二特征图的高度，所述d表示深度信息，所述t表示所述属性特征的类型数量，所述W、所述H、所述d以及所述t均为大于1的整数，且，所述d与所述t之和等于所述K；所述N等于所述W与所述H的乘积。
6.根据权利要求1所述的方法，其特征在于，所述根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，包括：
将所述M个第一特征点中的每个第一特征点所对应的第一特征向量，与所述N个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，所述特征点对包括一个所述第一特征点以及一个所述第二特征点；
根据所述匹配成功的特征点对，确定所述特征点配对数量。
7.根据权利要求1所述的方法，其特征在于，所述根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，包括：
根据所述每个第一特征点所对应的第一特征向量，从所述M个第一特征点中获取待匹配的A个第一特征点，其中，所述A为大于或等于1，且，小于或等于所述M的整数；
根据所述每个第二特征点所对应的第二特征向量，从所述N个第二特征点中获取待匹配的B个第二特征点，其中，所述B为大于或等于1，且，小于或等于所述N的整数；
将所述A个第一特征点中的每个第一特征点所对应的第一特征向量，与所述B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，所述特征点对包括一个所述第一特征点以及一个所述第二特征点；
根据所述匹配成功的特征点对，确定所述特征点配对数量。
8.根据权利要求7所述的方法，其特征在于，所述根据所述每个第一特征点所对应的第一特征向量，从所述M个第一特征点中获取待匹配的A个第一特征点，包括：
针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的第一特征向量中每个第一元素大于或等于第一阈值，则将所述第一特征点作为待匹配的第一特征点；
所述根据所述每个第二特征点所对应的第二特征向量，从所述N个第二特征点中获取待匹配的B个第二特征点，包括：
针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的第二特征向量中每个第二元素大于或等于所述第一阈值，则将所述第二特征点作为待匹配的第二特征点。
9.根据权利要求7所述的方法，其特征在于，所述根据所述每个第一特征点所对应的第一特征向量，从所述M个第一特征点中获取待匹配的A个第一特征点，包括：
针对所述M个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量，计算得到所述第一特征点所对应的元素平均值；
针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的元素平均值大于或等于第二阈值，则将所述第一特征点作为待匹配的第一特征点；
所述根据所述每个第二特征点所对应的第二特征向量，从所述N个第二特征点中获取待匹配的B个第二特征点，包括：
针对所述N个第二特征点中的每个第二特征点，根据所述第二特征点所对应的第二特征向量，计算得到所述第二特征点所对应的元素平均值；
针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的元素平均值大于或等于所述第二阈值，则将所述第二特征点作为待匹配的第二特征点。
10.根据权利要求7所述的方法，其特征在于，所述根据所述每个第一特征点所对应的第一特征向量，从所述M个第一特征点中获取待匹配的A个第一特征点，包括：
针对所述M个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量，计算得到所述第一特征点所对应的元素数量，其中，所述第一特征点所对应的元素数量为所述第一特征向量中第一元素大于或等于元素阈值的个数；
针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的元素数量大于或等于第三阈值，则将所述第一特征点作为待匹配的第一特征点；
所述根据所述每个第二特征点所对应的第二特征向量，从所述N个第二特征点中获取待匹配的B个第二特征点，包括：
针对所述N个第二特征点中的每个第二特征点，根据所述第二特征点所对应的第二特征向量，计算得到所述第二特征点所对应的元素数量，其中，所述第二特征点所对应的元素数量为所述第二特征向量中第二元素大于或等于元素阈值的个数；
针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的元素数量大于或等于所述第三阈值，则将所述第二特征点作为待匹配的第二特征点。
11.根据权利要求7所述的方法，其特征在于，所述将所述A个第一特征点中的每个第一特征点所对应的第一特征向量，与所述B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，包括：
针对所述A个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量以及所述B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到所述第一特征点与所述B个第二特征点中的每个第二特征点之间的距离；
针对所述A个第一特征点中的每个第一特征点，获取最邻近距离所对应的第二特征点以及次邻近距离所对应的第二特征点；
针对所述A个第一特征点中的每个第一特征点，将所述最邻近距离与所述次邻近距离之间的比值作为最近邻距离比值；
针对所述A个第一特征点中的每个第一特征点，若所述最近邻距离比值小于或等于距离比值阈值，则所述最邻近距离所对应的第二特征点以及所述第一特征点，作为匹配成功的一组特征点对。
12.根据权利要求7所述的方法，其特征在于，所述将所述A个第一特征点中的每个第一特征点所对应的第一特征向量，与所述B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，包括：
针对所述A个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量以及所述B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到所述第一特征点与所述B个第二特征点中的每个第二特征点之间的距离；
针对所述A个第一特征点中的每个第一特征点，若存在至少一个距离小于或等于距离阈值，则将所述至少一个距离中的最小距离所对应得到第二特征点以及所述第一特征点，作为匹配成功的一组特征点对。
13.根据权利要求1至12中任一项所述的方法，其特征在于，所述根据所述特征点配对数量，确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果，包括：
根据所述M个第一特征点以及所述N个第二特征点，获取参与特征点匹配的最大特征点数量，其中，所述最大特征点数量为参与匹配的第一特征点数量以及参与匹配的第二特征点数量的最大值；
获取所述特征点配对数量与所述最大特征点数量的目标比值；
若所述目标比值大于比值阈值，则确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果为图像匹配成功；
若所述目标比值小于或等于比值阈值，则确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果为图像匹配失败。
14.一种地图信息的更新方法，其特征在于，包括：
对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，所述K为大于或等于1的整数，所述M为大于1的整数；
对目标道路图像进行特征提取处理，得到K个第二特征图，其中，所述目标道路图像的采集时间晚于所述历史道路图像的采集时间，每个第二特征图包括N个第二特征点，所述N为大于1的整数；
根据所述K个第一特征图，生成所述历史道路图像的第一特征子以及第一描述子，其中，所述第一特征子用于描述所述历史道路图像的语义特征，所述第一描述子用于描述所述历史道路图像的属性特征；所述属性特征用于描述所述语义特征的属性；
根据所述第一特征子以及所述第一描述子，生成所述M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，所述第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，所述历史道路图像所对应的M个第一特征向量用于描述所述历史道路图像的语义特征以及属性特征；
根据所述K个第二特征图，生成所述目标道路图像的第二特征子以及第二描述子，其中，所述第二特征子用于描述所述目标道路图像的语义特征，所述第二描述子用于描述所述目标道路图像的属性特征；
根据所述第二特征子以及所述第二描述子，生成所述N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，所述第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，所述目标道路图像所对应的N个第二特征向量用于描述所述目标道路图像的语义特征以及属性特征；
根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，所述特征点配对数量表示所述第一特征点与所述第二特征点之间匹配成功的数量；
在根据所述特征点配对数量，确定所述历史道路图像与所述目标道路图像匹配失败的情况下，根据所述历史道路图像的要素识别结果以及所述目标道路图像的要素识别结果，生成图像要素集合，其中，所述图像要素集合来源于所述历史道路图像以及所述目标道路图像中的至少一项；
根据所述图像要素集合，对地图信息进行更新。
15.根据权利要求14所述的更新方法，其特征在于，所述方法还包括：
对所述历史道路图像进行目标识别，得到所述历史道路图像的要素识别结果，其中，所述历史道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
对所述目标道路图像进行目标识别，得到所述目标道路图像的要素识别结果，其中，所述目标道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
所述根据所述历史道路图像的要素识别结果以及所述目标道路图像的要素识别结果，生成图像要素集合，包括：
从所述目标道路图像中确定匹配失败的第二特征点集合，其中，所述第二特征点集合包括至少一个第二特征点；
根据所述第二特征点集合以及所述目标道路图像的要素识别结果，确定所述图像要素集合。
16.一种图像匹配装置，其特征在于，包括：
处理模块，用于对第一待匹配图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，所述K为大于或等于1的整数，所述M为大于1的整数；
所述处理模块，还用于对第二待匹配图像进行特征提取处理，得到K个第二特征图，其中，每个第二特征图包括N个第二特征点，所述N为大于1的整数；
获取模块，用于根据所述K个第一特征图，生成所述第一待匹配图像的第一特征子以及第一描述子，其中，所述第一特征子用于描述所述第一待匹配图像的语义特征，所述第一描述子用于描述所述第一待匹配图像的属性特征；所述属性特征用于描述所述语义特征的属性；
根据所述第一特征子以及所述第一描述子，生成所述M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，所述第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，所述第一待匹配图像所对应的M个第一特征向量用于描述所述第一待匹配图像的语义特征以及属性特征；
所述获取模块，还用于根据所述K个第二特征图，生成所述第二待匹配图像的第二特征子以及第二描述子，其中，所述第二特征子用于描述所述第二待匹配图像的语义特征，所述第二描述子用于描述所述第二待匹配图像的属性特征；
根据所述第二特征子以及所述第二描述子，生成所述N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，所述第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，所述第二待匹配图像所对应的N个第二特征向量用于描述所述第二待匹配图像的语义特征以及属性特征；
确定模块，用于根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，所述特征点配对数量表示所述第一特征点与所述第二特征点之间匹配成功的数量；
所述确定模块，还用于根据所述特征点配对数量，确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果。
17.根据权利要求16述的装置，其特征在于，所述处理模块，具体用于：
基于所述第一待匹配图像，通过特征提取网络所包括的卷积层，获取K个第一卷积特征图；
通过所述特征提取网络所包括的归一化层，对所述K个第一卷积特征图进行归一化处理，得到K个第一归一化特征图；
通过所述特征提取网络所包括的激活层，对所述K个第一归一化特征图进行非线性映射，得到所述K个第一特征图；
所述处理模块，具体用于：
基于所述第二待匹配图像，通过所述特征提取网络所包括的卷积层，获取K个第二卷积特征图；
通过所述特征提取网络所包括的归一化层，对所述K个第二卷积特征图进行归一化处理，得到K个第二归一化特征图；
通过所述特征提取网络所包括的激活层，对所述K个第二归一化特征图进行非线性映射，得到所述K个第二特征图。
18.根据权利要求16所述的装置，其特征在于，
所述获取模块，还用于获取所述第一待匹配图像以及所述第二待匹配图像；
所述处理模块，还用于在所述第一待匹配图像的尺寸大于预设尺寸的情况下，对所述第一待匹配图像进行尺寸缩小处理；
所述处理模块，还用于在所述第一待匹配图像的尺寸小于所述预设尺寸的情况下，对所述第一待匹配图像进行尺寸放大处理，或，对所述第一待匹配图像进行图像填充处理；
所述处理模块，还用于在所述第二待匹配图像的尺寸大于所述预设尺寸的情况下，对所述第二待匹配图像进行尺寸缩小处理；
所述处理模块，还用于在所述第二待匹配图像的尺寸小于所述预设尺寸的情况下，对所述第二待匹配图像进行尺寸放大处理，或，对所述第二待匹配图像进行图像填充处理。
19.根据权利要求16所述的装置，其特征在于，所述第一特征子的尺寸为(w×h×d)，所述第一描述子的尺寸为(w×h×t)，所述w表示所述第一特征图的宽度，所述h表示所述第一特征图的高度，所述d表示深度信息，所述t表示所述属性特征的类型数量，所述w、所述h、所述d以及所述t均为大于1的整数，且，所述d与所述t之和等于所述K；所述M等于所述w与所述h的乘积。
20.根据权利要求16所述的装置，其特征在于，所述第二特征子的尺寸为(W×H×d)，所述第二描述子的尺寸为(W×H×t)，所述W表示所述第二特征图的宽度，所述H表示所述第二特征图的高度，所述d表示深度信息，所述t表示所述属性特征的类型数量，所述W、所述H、所述d以及所述t均为大于1的整数，且，所述d与所述t之和等于所述K；所述N等于所述W与所述H的乘积。
21.根据权利要求16所述的装置，其特征在于，所述确定模块，具体用于将所述M个第一特征点中的每个第一特征点所对应的第一特征向量，与所述N个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，所述特征点对包括一个所述第一特征点以及一个所述第二特征点；根据所述匹配成功的特征点对，确定所述特征点配对数量。
22.根据权利要求16所述的装置，其特征在于，所述确定模块，具体用于：
根据所述每个第一特征点所对应的第一特征向量，从所述M个第一特征点中获取待匹配的A个第一特征点，其中，所述A为大于或等于1，且，小于或等于所述M的整数；
根据所述每个第二特征点所对应的第二特征向量，从所述N个第二特征点中获取待匹配的B个第二特征点，其中，所述B为大于或等于1，且，小于或等于所述N的整数；
将所述A个第一特征点中的每个第一特征点所对应的第一特征向量，与所述B个第二特征点中的每个第二特征点所对应的第二特征向量进行匹配，得到匹配成功的特征点对，其中，所述特征点对包括一个所述第一特征点以及一个所述第二特征点；
根据所述匹配成功的特征点对，确定所述特征点配对数量。
23.根据权利要求22所述的装置，其特征在于，
所述确定模块，具体用于针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的第一特征向量中每个第一元素大于或等于第一阈值，则将所述第一特征点作为待匹配的第一特征点；
所述确定模块，具体用于针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的第二特征向量中每个第二元素大于或等于所述第一阈值，则将所述第二特征点作为待匹配的第二特征点。
24.根据权利要求22所述的装置，其特征在于，
所述确定模块，具体用于针对所述M个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量，计算得到所述第一特征点所对应的元素平均值；针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的元素平均值大于或等于第二阈值，则将所述第一特征点作为待匹配的第一特征点；
所述确定模块，具体用于针对所述N个第二特征点中的每个第二特征点，根据所述第二特征点所对应的第二特征向量，计算得到所述第二特征点所对应的元素平均值；针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的元素平均值大于或等于所述第二阈值，则将所述第二特征点作为待匹配的第二特征点。
25.根据权利要求22所述的装置，其特征在于，
所述确定模块，具体用于针对所述M个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量，计算得到所述第一特征点所对应的元素数量，其中，所述第一特征点所对应的元素数量为所述第一特征向量中第一元素大于或等于元素阈值的个数；针对所述M个第一特征点中的每个第一特征点，若所述第一特征点所对应的元素数量大于或等于第三阈值，则将所述第一特征点作为待匹配的第一特征点；
所述确定模块，具体用于针对所述N个第二特征点中的每个第二特征点，根据所述第二特征点所对应的第二特征向量，计算得到所述第二特征点所对应的元素数量，其中，所述第二特征点所对应的元素数量为所述第二特征向量中第二元素大于或等于元素阈值的个数；针对所述N个第二特征点中的每个第二特征点，若所述第二特征点所对应的元素数量大于或等于所述第三阈值，则将所述第二特征点作为待匹配的第二特征点。
26.根据权利要求22所述的装置，其特征在于，所述确定模块，具体用于：
针对所述A个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量以及所述B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到所述第一特征点与所述B个第二特征点中的每个第二特征点之间的距离；
针对所述A个第一特征点中的每个第一特征点，获取最邻近距离所对应的第二特征点以及次邻近距离所对应的第二特征点；
针对所述A个第一特征点中的每个第一特征点，将所述最邻近距离与所述次邻近距离之间的比值作为最近邻距离比值；
针对所述A个第一特征点中的每个第一特征点，若所述最近邻距离比值小于或等于距离比值阈值，则所述最邻近距离所对应的第二特征点以及所述第一特征点，作为匹配成功的一组特征点对。
27.根据权利要求22所述的装置，其特征在于，所述确定模块，具体用于：
针对所述A个第一特征点中的每个第一特征点，根据所述第一特征点所对应的第一特征向量以及所述B个第二特征点中的每个第二特征点所对应的第二特征向量，计算得到所述第一特征点与所述B个第二特征点中的每个第二特征点之间的距离；
针对所述A个第一特征点中的每个第一特征点，若存在至少一个距离小于或等于距离阈值，则将所述至少一个距离中的最小距离所对应得到第二特征点以及所述第一特征点，作为匹配成功的一组特征点对。
28.根据权利要求16至27中任一项所述的装置，其特征在于，所述确定模块，具体用于：
根据所述M个第一特征点以及所述N个第二特征点，获取参与特征点匹配的最大特征点数量，其中，所述最大特征点数量为参与匹配的第一特征点数量以及参与匹配的第二特征点数量的最大值；
获取所述特征点配对数量与所述最大特征点数量的目标比值；
若所述目标比值大于比值阈值，则确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果为图像匹配成功；
若所述目标比值小于或等于比值阈值，则确定所述第一待匹配图像与所述第二待匹配图像之间的图像匹配结果为图像匹配失败。
29.一种地图信息更新装置，其特征在于，包括：
处理模块，用于对历史道路图像进行特征提取处理，得到K个第一特征图，其中，每个第一特征图包括M个第一特征点，所述K为大于或等于1的整数，所述M为大于1的整数；
所述处理模块，还用于对目标道路图像进行特征提取处理，得到K个第二特征图，其中，所述目标道路图像的采集时间晚于所述历史道路图像的采集时间，每个第二特征图包括N个第二特征点，所述N为大于1的整数；
获取模块，用于根据所述K个第一特征图，生成所述历史道路图像的第一特征子以及第一描述子，其中，所述第一特征子用于描述所述历史道路图像的语义特征，所述第一描述子用于描述所述历史道路图像的属性特征；所述属性特征用于描述所述语义特征的属性；
根据所述第一特征子以及所述第一描述子，生成所述M个第一特征点中的每个第一特征点所对应的第一特征向量，其中，所述第一特征向量包括K个第一元素，每个第一元素分别来源于不同的第一特征图，所述历史道路图像所对应的M个第一特征向量用于描述所述历史道路图像的语义特征以及属性特征；
所述获取模块，还用于根据所述K个第二特征图，生成所述目标道路图像的第二特征子以及第二描述子，其中，所述第二特征子用于描述所述目标道路图像的语义特征，所述第二描述子用于描述所述目标道路图像的属性特征；
根据所述第二特征子以及所述第二描述子，生成所述N个第二特征点中的每个第二特征点所对应的第二特征向量，其中，所述第二特征向量包括K个第二元素，每个第二元素分别来源于不同的第二特征图，所述目标道路图像所对应的N个第二特征向量用于描述所述目标道路图像的语义特征以及属性特征；
确定模块，用于根据所述每个第一特征点所对应的第一特征向量以及所述每个第二特征点所对应的第二特征向量，确定特征点配对数量，其中，所述特征点配对数量表示所述第一特征点与所述第二特征点之间匹配成功的数量；
生成模块，用于在根据所述特征点配对数量，确定所述历史道路图像与所述目标道路图像匹配失败的情况下，根据所述历史道路图像的要素识别结果以及所述目标道路图像的要素识别结果，生成图像要素集合，其中，所述图像要素集合来源于所述历史道路图像以及所述目标道路图像中的至少一项；
更新模块，用于根据所述图像要素集合，对地图信息进行更新。
30.根据权利要求29所述的更新装置，其特征在于，所述装置还包括：
识别模块，用于对所述历史道路图像进行目标识别，得到所述历史道路图像的要素识别结果，其中，所述历史道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
所述识别模块，还用于对所述目标道路图像进行目标识别，得到所述目标道路图像的要素识别结果，其中，所述目标道路图像的要素识别结果包括至少一个要素所对应的类别信息以及位置信息；
所述生成模块，具体用于从所述目标道路图像中确定匹配失败的第二特征点集合，其中，所述第二特征点集合包括至少一个第二特征点；根据所述第二特征点集合以及所述目标道路图像的要素识别结果，确定所述图像要素集合。
31.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至13中任一项所述的方法的步骤，或者，实现权利要求14至15中任一项所述的更新方法的步骤。
32.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤，或者，实现权利要求14至15中任一项所述的更新方法的步骤。
CN202310831318.3A 2023-07-07 2023-07-07 一种图像匹配的方法、地图信息的更新方法以及相关装置 Active CN116563583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310831318.3A CN116563583B (zh) 2023-07-07 2023-07-07 一种图像匹配的方法、地图信息的更新方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310831318.3A CN116563583B (zh) 2023-07-07 2023-07-07 一种图像匹配的方法、地图信息的更新方法以及相关装置

Publications (2)

Publication Number Publication Date
CN116563583A CN116563583A (zh) 2023-08-08
CN116563583B true CN116563583B (zh) 2023-10-10

Family

ID=87500429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310831318.3A Active CN116563583B (zh) 2023-07-07 2023-07-07 一种图像匹配的方法、地图信息的更新方法以及相关装置

Country Status (1)

Country Link
CN (1) CN116563583B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116958606A (zh) * 2023-09-15 2023-10-27 腾讯科技（深圳）有限公司 一种图像匹配方法及相关装置
CN117115772B (zh) * 2023-10-20 2024-01-30 腾讯科技（深圳）有限公司 一种图像处理的方法、装置、设备、存储介质及程序产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886785A (zh) * 2017-02-20 2017-06-23 南京信息工程大学 一种基于多特征哈希学习的航拍图像快速匹配算法
CN110781911A (zh) * 2019-08-15 2020-02-11 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、设备及存储介质
CN110827340A (zh) * 2018-08-08 2020-02-21 北京嘀嘀无限科技发展有限公司 地图的更新方法、装置及存储介质
CN111767965A (zh) * 2020-07-08 2020-10-13 西安理工大学 图像匹配方法、装置、电子设备及存储介质
CN113095371A (zh) * 2021-03-22 2021-07-09 北京大学 一种面向三维重建的特征点匹配方法及系统
CN114689036A (zh) * 2022-03-29 2022-07-01 深圳海星智驾科技有限公司 地图更新方法、自动驾驶方法、电子设备及存储介质
CN115239882A (zh) * 2022-07-20 2022-10-25 安徽理工大学环境友好材料与职业健康研究院(芜湖) 一种基于弱光图像增强的农作物三维重建方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176425B2 (en) * 2019-12-11 2021-11-16 Naver Corporation Joint detection and description systems and methods
US11328172B2 (en) * 2020-08-24 2022-05-10 Huawei Technologies Co. Ltd. Method for fine-grained sketch-based scene image retrieval

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886785A (zh) * 2017-02-20 2017-06-23 南京信息工程大学 一种基于多特征哈希学习的航拍图像快速匹配算法
CN110827340A (zh) * 2018-08-08 2020-02-21 北京嘀嘀无限科技发展有限公司 地图的更新方法、装置及存储介质
CN110781911A (zh) * 2019-08-15 2020-02-11 腾讯科技（深圳）有限公司 一种图像匹配方法、装置、设备及存储介质
CN111767965A (zh) * 2020-07-08 2020-10-13 西安理工大学 图像匹配方法、装置、电子设备及存储介质
CN113095371A (zh) * 2021-03-22 2021-07-09 北京大学 一种面向三维重建的特征点匹配方法及系统
CN114689036A (zh) * 2022-03-29 2022-07-01 深圳海星智驾科技有限公司 地图更新方法、自动驾驶方法、电子设备及存储介质
CN115239882A (zh) * 2022-07-20 2022-10-25 安徽理工大学环境友好材料与职业健康研究院(芜湖) 一种基于弱光图像增强的农作物三维重建方法

Also Published As

Publication number Publication date
CN116563583A (zh) 2023-08-08

Similar Documents

Publication Publication Date Title
CN116563583B (zh) 一种图像匹配的方法、地图信息的更新方法以及相关装置
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
US20190272438A1 (en) Method and apparatus for detecting text
Zhang et al. Ensemble multiple kernel active learning for classification of multisource remote sensing data
US20230013380A1 (en) Deep-learning-based identification card authenticity verification apparatus and method
CN105404886B (zh) 特征模型生成方法和特征模型生成装置
Corcoran et al. Segmentation performance evaluation for object-based remotely sensed image analysis
Jung Detecting building changes from multitemporal aerial stereopairs
CN111241989A (zh) 图像识别方法及装置、电子设备
US20220254134A1 (en) Region recognition method, apparatus and device, and readable storage medium
Qin et al. Spatiotemporal inferences for use in building detection using series of very-high-resolution space-borne stereo images
CN110197185B (zh) 一种基于尺度不变特征变换算法监测桥下空间的方法和系统
CN113033519B (zh) 活体检测方法、估算网络处理方法、装置和计算机设备
Guo et al. Exploring GIS knowledge to improve building extraction and change detection from VHR imagery in urban areas
Alshehri A content-based image retrieval method using neural network-based prediction technique
Li et al. Real-time tracking algorithm for aerial vehicles using improved convolutional neural network and transfer learning
CN116958606A (zh) 一种图像匹配方法及相关装置
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN110910497B (zh) 实现增强现实地图的方法和系统
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN112270289A (zh) 一种基于图卷积注意力网络的智能监测方法
Zhang et al. Automatic extraction of building geometries based on centroid clustering and contour analysis on oblique images taken by unmanned aerial vehicles
Abraham Digital image forgery detection approaches: A review and analysis
CN113705304A (zh) 一种图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40091009

Country of ref document: HK