CN110766061B - 一种道路场景匹配方法及装置 - Google Patents

一种道路场景匹配方法及装置 Download PDF

Info

Publication number
CN110766061B
CN110766061B CN201910979645.7A CN201910979645A CN110766061B CN 110766061 B CN110766061 B CN 110766061B CN 201910979645 A CN201910979645 A CN 201910979645A CN 110766061 B CN110766061 B CN 110766061B
Authority
CN
China
Prior art keywords
road scene
matching
target detection
module
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910979645.7A
Other languages
English (en)
Other versions
CN110766061A (zh
Inventor
周智颖
熊迹
何云
李汉玢
何豪杰
罗跃军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heading Data Intelligence Co Ltd
Original Assignee
Heading Data Intelligence Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heading Data Intelligence Co Ltd filed Critical Heading Data Intelligence Co Ltd
Priority to CN201910979645.7A priority Critical patent/CN110766061B/zh
Publication of CN110766061A publication Critical patent/CN110766061A/zh
Application granted granted Critical
Publication of CN110766061B publication Critical patent/CN110766061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种道路场景匹配方法及装置。方法包括：将道路场景图片输入至目标检测模块，获取目标检测模块输出的道路场景图片对应的目标检测结果；基于delaunay三角剖分算法，根据目标检测结果，生成道路场景图片对应的邻接关系图；将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取图匹配模块输出的两张道路场景图片间的相似度；若相似度大于预设阈值，则分别将两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。本发明实施例提供的方法及装置，提高了场景匹配精度，速度上远远超过传统的场景匹配方法，不需要手动设定选取参数广泛适应道路场景，并同时解决了深度神经网络的关联性问题。

Description

一种道路场景匹配方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种道路场景匹配方法及装置。
背景技术
目前，在自动驾驶所依赖的高精度地图中，高精度地图作为自动驾驶的最基本安全保障，需要实现实时的更新以保障高精度地图的现势性。高精度地图的实时更新离不开众包采集，众包采集视觉数据需要场景匹配来确定数据的更新。
在目前的技术方案中，有多种方式来实现场景匹配，包括尺度不变特征变换匹配算法，薄板样条匹配算法和加速鲁棒特征匹配算法等。
传统的图片处理方式，主要是采用局部特征点的描述算子，对图片进行特征点检测，通过对全图的卷积运算来找到两幅图片中对应的点进而确定两幅图的匹配关系。
深度学习方式，包括但不限于目标检测，语义分割。目标检测通过滑动窗口的方式，来给出道路场景目标所在的边界范围，语义分割给出全图范围内每个像素进行分类，属于同一目标的像素被赋予相同的属性。
现有的场景匹配技术中，传统的图片处理方式可以较好的实现场景匹配，但运算速度很慢，参数需要选定，无法适应高精度地图实时更新中所需要的满足现势性和场景不确定性的条件。而深度学习方式需要解决关联性问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供一种道路场景匹配方法及装置。
第一方面，本发明实施例提供一种道路场景匹配方法，包括：
将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
进一步，所述道路场景匹配方法还包括：
获取每张道路场景图片对应的定位信息；
将每张道路场景图片对应的目标检测结果、邻接关系图和定位信息进行存储。
进一步，将道路场景图片输入至目标检测模块，之前还包括：
对所述目标检测模块中的CNN目标检测网络、GNN分类器，以及所述图匹配模块中的GNN无向图匹配网络进行训练。
进一步，所述CNN目标检测网络基于反向传播算法进行训练，所述GNN分类器基于节点边缘更新原则和反向传播算法进行训练，所述GNN无向图匹配网络基于节点边缘更新原则进行训练。
进一步，将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果，包括：
将所述道路场景图片输入至所述CNN目标检测网络，获取所述CNN目标检测网络输出的所述道路场景图片中每个目标的边界框；
将所述道路场景图片和每个目标的边界框输入至所述GNN分类器，获取所述GNN分类器输出的每个目标的种类和属性信息。
进一步地，基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图，包括：
根据所述道路场景图片中每个目标的边界框，确定每个目标的几何中心；
在每个目标的几何中心，基于delaunay三角剖分算法构建三角网；
根据各个目标间的邻接关系，对所述三角网中的边进行调整，得到所述道路场景图片对应的邻接关系图。
进一步，所述特征匹配的算法为尺度不变特征变换匹配算法、薄板样条匹配算法和加速鲁棒特征匹配算法。
第二方面，本发明实施例提供一种道路场景匹配装置，包括：
目标检测结果获取模块，用于将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
邻接关系图生成模块，用于基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
图相似度获取模块，用于将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
特征匹配模块，用于若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明提供的一种道路场景匹配方法及装置，通过图神经网络进行场景匹配，保留了场景匹配过程中目标间的逻辑关系，提高了场景匹配精度，速度上远远超过传统的场景匹配方法，不需要手动设定选取参数广泛适应道路场景，并同时解决了深度神经网络的关联性问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种道路场景匹配方法流程图；
图2为本发明实施例提供的一种目标检测模块的训练过程示意图；
图3为本发明实施例提供的一种目标检测模块的使用过程示意图；
图4为本发明实施例提供的一种GNN无向图匹配网络用于无向图相似性检测的原理解释图；
图5为本发明实施例提供的一种道路场景匹配的整体流程图；
图6为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的场景匹配技术中，传统的图片处理方式可以较好的实现场景匹配，但运算速度很慢，参数需要选定，无法适应高精度地图实时更新中所需要的满足现势性和场景不确定性的条件。而深度学习方式需要解决关联性问题。
针对现有场景匹配技术的上述问题，本发明实施例提供一种道路场景匹配方法，图1为本发明实施例提供的一种道路场景匹配方法流程图，如图1所示，该方法包括：
步骤101，将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN(ConvolutionalNeural Networks，卷积神经网络)目标检测网络和GNN(Graph Neural Networks，图神经网络)分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
步骤102，基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
步骤103，将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
步骤104，若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
具体地，本发明实施例提供的方法用于对任意两张道路场景图片进行匹配，以判定两张道路场景图片对应的道路场景是否为同一场景。该方法具体通过如下步骤实现：
首先，将待检测的道路场景图片输入至目标检测模块，先后经过基于卷积神经网络CNN的目标检测网络(简称CNN目标检测网络)和基于图神经网络GNN的分类器(简称GNN分类器)，输出道路场景图片对应的目标检测结果，目标检测结果包括道路场景图片中每个目标的种类、属性信息和边界框。为保障后续匹配中的准确性，目标检测结果中不包括行人类目标和车辆类目标。
需要说明的是，目标检测模块借由图神经网络特殊的节点-边缘权重更新机制，在CNN目标检测网络的基础上更进一步，具有更高的准确率和找回率的基础上，通过目标之间的相关性及逻辑关系保障整体网络的抗干扰性。
随后，在道路场景图片对应的目标检测结果(每个目标的种类、属性信息和边界框Bbox)的基础上，通过delaunay三角剖分算法，生成道路场景图片对应的邻接关系图。
随后，将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，先后经过矩阵转换单元和GNN无向图匹配网络，输出两张道路场景图片间邻接关系的相似度。具体为，首先将上述两张道路场景图片对应的邻接关系图输入至矩阵转换单元，可得到每张道路场景图片对应的邻接关系矩阵和节点属性矩阵，然后将上述两张道路场景图片对应的邻接关系矩阵和节点属性矩阵均输入至GNN无向图匹配网络，输出上述两张道路场景图片间邻接关系的相似度。
最后，若上述两张道路场景图片间邻接关系的相似度大于预设阈值，则分别将上述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。需要说明的是，预设阈值根据实际情况具体设定，本发明实施例对此不作限定。特征匹配优先级的高低顺序依次为对应标志牌及信号灯、对应护栏及杆件、对应车道线。
需要说明的是，如果上述两张道路场景图片已经通过了邻接关系的匹配，即相似度大于预设阈值，则使用传统的图片匹配算法对上述两张道路场景图片中的对应目标进行精准匹配。由于是分别对单对目标进行匹配，目标大小大大减小，传统的图片匹配算法用时大幅下降，同时保障了场景匹配精度。
本发明实施例提供的道路场景匹配方法，通过图神经网络进行场景匹配，保留了场景匹配过程中目标间的逻辑关系，提高了场景匹配精度，速度上远远超过传统的场景匹配方法，不需要手动设定选取参数广泛适应道路场景，并同时解决了深度神经网络的关联性问题。
基于上述任一实施例，本发明实施例还包括：
获取每张道路场景图片对应的定位信息；
将每张道路场景图片对应的目标检测结果、邻接关系图和定位信息进行存储。
具体地，本发明实施例同时提供了一种道路场景图片的特征存储方法，对一张道路场景图片而言，存储其目标检测结果、邻接关系图和定位信息，可以为以后的道路场景增量更新提供快速可靠的场景匹配支持。需要说明的是，可以将上述特征存储至数据库中，本发明实施例对上述特征的存储位置不作具体限定。
基于上述任一实施例，将道路场景图片输入至目标检测模块，之前还包括：
对所述目标检测模块中的CNN目标检测网络、GNN分类器，以及所述图匹配模块中的GNN无向图匹配网络进行训练。
基于上述任一实施例，所述CNN目标检测网络基于反向传播算法进行训练，所述GNN分类器基于节点边缘更新原则和反向传播算法进行训练，所述GNN无向图匹配网络基于节点边缘更新原则进行训练。
基于上述任一实施例，将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果，包括：
将所述道路场景图片输入至所述CNN目标检测网络，获取所述CNN目标检测网络输出的所述道路场景图片中每个目标的边界框；
将所述道路场景图片和每个目标的边界框输入至所述GNN分类器，获取所述GNN分类器输出的每个目标的种类和属性信息。
具体地，结合附图对本发明实施例中的CNN目标检测网络、GNN分类器以及GNN无向图匹配网络进行说明。
图2为本发明实施例提供的一种目标检测模块的训练过程示意图，如图2所示，目标检测模块分为两个部分，检测器和分类器。其中，检测器采用CNN，使用反向传播算法进行训练，负责提供图片中存在的检测目标的边界框Bbox。分类器采用图神经网络GNN，与CNN的目标检测不同，GNN在训练的过程中遵循节点-边缘更新的原则。图2中memnet部分针对神经网络中残存的空间记忆和分类之间关系的记忆，采用节点-边缘更新的原则，在每一个训练迭代内进行更新，并将更新后的记忆结果反馈到全局中，通过反向传播的方式作用于全局，形成可以带有逻辑关系的分类器。
图3为本发明实施例提供的一种目标检测模块的使用过程示意图，如图3所示，首先需要经过CNN目标检测网络输出目标检测的Bbox，随后将图片和Bbox输入GNN分类器中，结合Bbox输出目标检测的种类和相应的属性信息。
图4为本发明实施例提供的一种GNN无向图匹配网络用于无向图相似性检测的原理解释图，如图4所示，通过图卷积操作将邻接关系图转换为邻接矩阵压缩为图向量，将图的最小编辑距离作为loss通过节点-边缘的更新方式对网络参数进行调整，最终得到可以进行图匹配的GNN无向图匹配网络。
基于上述任一实施例，基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图，包括：
根据所述道路场景图片中每个目标的边界框，确定每个目标的几何中心；
在每个目标的几何中心，基于delaunay三角剖分算法构建三角网；
根据各个目标间的邻接关系，对所述三角网中的边进行调整，得到所述道路场景图片对应的邻接关系图。
具体地，在道路场景图片对应的目标检测结果(每个目标的种类、属性信息和边界框Bbox)的基础上，对于每个目标，选取Bbox的几何中心进行抽象，在图片范围内使用delaunay三角剖分构建三角网。随后对三角网中的每个节点根据先验知识进行调整(删除或添加某些边)，如车道只能和车道及护栏相邻，道路两侧目标只能和护栏相邻等，将调整之后的结果，作为道路场景图片对应的邻接关系图。
基于上述任一实施例，所述特征匹配的算法为尺度不变特征变换匹配算法、薄板样条匹配算法和加速鲁棒特征匹配算法。
具体地，对两张道路场景图片中相对应的目标进行特征匹配的算法可以为传统的图片匹配算法，包括但不限于尺度不变特征变换匹配算法(SIFT)、薄板样条匹配算法(TPS)和加速鲁棒特征匹配算法(SURF)，由于目标的大小仅为整个图片中的一小部分(目标大小通常不超过图片整体目标大小的1％)，且为对应的同一目标，关键点的选取不需要人工进行，传统的图片匹配算法消耗时间也大幅度降低。
作为一个优选实施例，结合图5对本发明实施例进行说明，图5为本发明实施例提供的一种道路场景匹配的整体流程图，如图5所示，可以划分为储存和匹配两个过程。
在储存过程中，存储道路场景的目标检测结果、邻接关系图和定位信息。目标检测结果是目标检测模块对道路场景进行检测后输出的结果，以key-value的形式存储每一个有效目标的信息。邻接关系图在目标检测的结果上生成，以每一个道路场景有效目标的中心采用delaunay三角剖分的方式构建三角网，之后根据道路目标之间的邻接关系去除其中不应邻接的边，生成邻接关系图。对一张道路场景图片而言，存储其定位信息、有效道路场景目标信息和道路场景目标邻接关系信息可以为以后的道路场景增量更新提供快速可靠的场景匹配支持。
在匹配过程中，对于待匹配的道路场景图片，分别通过目标检测模块，邻接关系图生成模块生成相应的有效目标信息和邻接关系图信息，随后通过图匹配模块对邻接关系图的相似性进行评估，如果相似性足够接近，则进一步，对有效目标中的对应的特征目标进行匹配。匹配的方法包括但不限于尺度不变特征变换匹配算法(SIFT)，薄板样条匹配算法(TPS)，加速鲁棒特征匹配算法(SURF)，由于特征目标的大小仅为整个图片中的一小部分(有效目标大小通常不超过图片整体目标大小的1％)，且为对应的同一目标，关键点的选取不需要人工进行，传统方式消耗时间也大幅度降低。如果通过匹配，则用于匹配的道路场景图片匹配成功。
基于上述任一实施例，本发明实施例提供的一种道路场景匹配装置的结构，该装置包括：
目标检测结果获取模块，用于将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
邻接关系图生成模块，用于基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
图相似度获取模块，用于将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
特征匹配模块，用于若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
具体地，本发明实施例提供的装置具体用于执行上述方法实施例，本发明实施例对此不再进行赘述。本发明实施例提供的装置，通过图神经网络进行场景匹配，保留了场景匹配过程中目标间的逻辑关系，提高了场景匹配精度，速度上远远超过传统的场景匹配方法，不需要手动设定选取参数广泛适应道路场景，并同时解决了深度神经网络的关联性问题。
图6为本发明实施例提供的一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、通信接口(Communications Interface)602、存储器(memory)603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信。处理器601可以调用存储在存储器603上并可在处理器601上运行的计算机程序，以执行上述各实施例提供的道路场景匹配方法，例如包括：将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的道路场景匹配方法，例如包括：将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种道路场景匹配方法，其特征在于，包括：
将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
2.根据权利要求1所述的道路场景匹配方法，其特征在于，还包括：
获取每张道路场景图片对应的定位信息；
将每张道路场景图片对应的目标检测结果、邻接关系图和定位信息进行存储。
3.根据权利要求1所述的道路场景匹配方法，其特征在于，将道路场景图片输入至目标检测模块，之前还包括：
对所述目标检测模块中的CNN目标检测网络、GNN分类器，以及所述图匹配模块中的GNN无向图匹配网络进行训练。
4.根据权利要求3所述的道路场景匹配方法，其特征在于，所述CNN目标检测网络基于反向传播算法进行训练，所述GNN分类器基于节点边缘更新原则和反向传播算法进行训练，所述GNN无向图匹配网络基于节点边缘更新原则进行训练。
5.根据权利要求1所述的道路场景匹配方法，其特征在于，将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果，包括：
将所述道路场景图片输入至所述CNN目标检测网络，获取所述CNN目标检测网络输出的所述道路场景图片中每个目标的边界框；
将所述道路场景图片和每个目标的边界框输入至所述GNN分类器，获取所述GNN分类器输出的每个目标的种类和属性信息。
6.根据权利要求1所述的道路场景匹配方法，其特征在于，基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图，包括：
根据所述道路场景图片中每个目标的边界框，确定每个目标的几何中心；
在每个目标的几何中心，基于delaunay三角剖分算法构建三角网；
根据各个目标间的邻接关系，对所述三角网中的边进行调整，得到所述道路场景图片对应的邻接关系图。
7.根据权利要求1所述的道路场景匹配方法，其特征在于，所述特征匹配的算法为尺度不变特征变换匹配算法、薄板样条匹配算法和加速鲁棒特征匹配算法。
8.一种道路场景匹配装置，其特征在于，包括：
目标检测结果获取模块，用于将道路场景图片输入至目标检测模块，获取所述目标检测模块输出的所述道路场景图片对应的目标检测结果；其中，所述目标检测模块包括CNN目标检测网络和GNN分类器，所述目标检测结果包括每个目标的种类、所属类别和边界框；
邻接关系图生成模块，用于基于delaunay三角剖分算法，根据所述目标检测结果，生成所述道路场景图片对应的邻接关系图；
图相似度获取模块，用于将任意两张道路场景图片对应的邻接关系图输入至图匹配模块，获取所述图匹配模块输出的所述两张道路场景图片间的相似度；其中，所述图匹配模块包括GNN无向图匹配网络；
特征匹配模块，用于若所述相似度大于预设阈值，则分别将所述两张道路场景图片中相对应的目标进行特征匹配，得到匹配结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN201910979645.7A 2019-10-15 2019-10-15 一种道路场景匹配方法及装置 Active CN110766061B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910979645.7A CN110766061B (zh) 2019-10-15 2019-10-15 一种道路场景匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979645.7A CN110766061B (zh) 2019-10-15 2019-10-15 一种道路场景匹配方法及装置

Publications (2)

Publication Number Publication Date
CN110766061A CN110766061A (zh) 2020-02-07
CN110766061B true CN110766061B (zh) 2022-05-31

Family

ID=69332171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979645.7A Active CN110766061B (zh) 2019-10-15 2019-10-15 一种道路场景匹配方法及装置

Country Status (1)

Country Link
CN (1) CN110766061B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612043B (zh) * 2020-04-27 2022-08-23 腾讯科技（深圳）有限公司 道路场景匹配方法、装置及存储介质
CN113074959B (zh) * 2021-04-06 2022-03-25 北京理工大学 一种自动驾驶系统测试分析方法
CN113269099B (zh) * 2021-05-27 2022-12-20 中国人民解放军军事科学院国防科技创新研究院 基于图匹配的异构无人系统下车辆重新识别方法
CN116433887B (zh) * 2023-06-12 2023-08-15 山东鼎一建设有限公司 基于人工智能的建筑物快速定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778444A (zh) * 2015-03-10 2015-07-15 公安部交通管理科学研究所 道路场景下车辆图像的表观特征分析方法
CN107310550A (zh) * 2016-04-27 2017-11-03 腾讯科技（深圳）有限公司 道路交通工具行驶控制方法和装置
CN108665490A (zh) * 2018-04-02 2018-10-16 浙江大学 一种基于多属性编码及动态权重的图形匹配方法
CN109068334A (zh) * 2018-09-06 2018-12-21 三峡大学 一种改进Delaunay三角剖分的虚拟力算法部署节点方法
CN109784353A (zh) * 2017-11-14 2019-05-21 北京三星通信技术研究有限公司 一种无向图匹配的方法、设备和存储介质
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621234B2 (en) * 2018-04-06 2020-04-14 Runecast Solutions Limited Method for discovering a group of interdependent computing objects within undirected graph structure in a computing environment corresponding to a set of known conditions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778444A (zh) * 2015-03-10 2015-07-15 公安部交通管理科学研究所 道路场景下车辆图像的表观特征分析方法
CN107310550A (zh) * 2016-04-27 2017-11-03 腾讯科技（深圳）有限公司 道路交通工具行驶控制方法和装置
CN109784353A (zh) * 2017-11-14 2019-05-21 北京三星通信技术研究有限公司 一种无向图匹配的方法、设备和存储介质
CN108665490A (zh) * 2018-04-02 2018-10-16 浙江大学 一种基于多属性编码及动态权重的图形匹配方法
CN109068334A (zh) * 2018-09-06 2018-12-21 三峡大学 一种改进Delaunay三角剖分的虚拟力算法部署节点方法
CN110263681A (zh) * 2019-06-03 2019-09-20 腾讯科技（深圳）有限公司 面部表情的识别方法和装置、存储介质、电子装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A graph-based approach for video scene detection;Ufuk Sakarya等;《2008 IEEE 16th Signal Processing, Communication and Applications Conference》;20080926;第1-4页 *
基于符号的三维道路场景快速构建方法的研究;马小龙;《中国优秀硕士学位论文全文数据库 基础科学辑》;20150315(第3期);第1-50页 *
道路场景下的立体匹配和运动物体跟踪研究;范建德;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140715(第7期);第1-48页 *

Also Published As

Publication number Publication date
CN110766061A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN110766061B (zh) 一种道路场景匹配方法及装置
CN111462175B (zh) 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
WO2022033150A1 (zh) 图像识别方法、装置、电子设备及存储介质
CN109960742B (zh) 局部信息的搜索方法及装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN113902897A (zh) 目标检测模型的训练、目标检测方法、装置、设备和介质
CN113674421B (zh) 3d目标检测方法、模型训练方法、相关装置及电子设备
CN112991389B (zh) 一种目标跟踪方法、装置及移动机器人
CN112967341B (zh) 基于实景图像的室内视觉定位方法、系统、设备及存储介质
CN113361710B (zh) 学生模型训练方法、图片处理方法、装置及电子设备
CN113076871A (zh) 一种基于目标遮挡补偿的鱼群自动检测方法
US20220351398A1 (en) Depth detection method, method for training depth estimation branch network, electronic device, and storage medium
WO2019136591A1 (zh) 基于弱监督时空级联神经网络的显著目标检测方法及系统
US11367206B2 (en) Edge-guided ranking loss for monocular depth prediction
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN113657370A (zh) 一种文字识别方法及其相关设备
CN115239776B (zh) 点云的配准方法、装置、设备和介质
CN115631108A (zh) 一种基于rgbd的图像去雾方法及相关设备
CN116168132A (zh) 街景重建模型获取及街景重建方法、装置、设备及介质
CN113514053B (zh) 生成样本图像对的方法、装置和更新高精地图的方法
CN111914751B (zh) 一种图像人群密度识别检测方法及系统
KR20210134252A (ko) 이미지 안정화 방법, 장치, 노변 기기 및 클라우드 제어 플랫폼
CN114170633A (zh) 一种基于协同监督的海面小行人检测方法
CN113947154A (zh) 一种目标检测方法、系统、电子设备及存储介质
CN113378864A (zh) 一种锚框参数的确定方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant