CN111612043B - 道路场景匹配方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种道路场景匹配方法、装置及存储介质，利用道路场景图片中的交通要素信息和轨迹点信息辅助进行道路场景匹配，将轨迹点信息输入匹配模型，输出获得两张道路场景图片的轨迹点信息相似的第一相似度，将交通要素信息输入分类器，输出获得两张道路场景图片的交通要素信息相似的第二相似度，再基于第一相似度和第二相似度综合计算这两张道路场景图片之间的匹配概率，通过该匹配概率确定两张道路场景图片之间是否匹配。能够显著提升匹配速度以及匹配结果的准确度。

Description

道路场景匹配方法、装置及存储介质

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种道路场景匹配方法、装置及存储介质。

背景技术

地图众包是行业新兴的数据生产模式，具有采集成本低、回传速度快、覆盖范围广的优势。用户仅需要在手机端安装一款简易的APP(应用程序，Application的缩写)或者有一台智能的后视镜，即可参与众包数据采集。

面对每年数十亿的众包图像数据，借助图像智能识别技术推动实现生产自动化，降低人工成本是一个非常迫切的任务。首当其冲的是物体检测技术，通过对每一张众包图像进行交通要素的检测，可以将大量无要素图片直接剔除，无需人工查看，可以大量节省人工作业。

但是从另一方面来看，仅仅通过去除无要素图片，还是会有大量冗余图片留下。这部分图像是含有地图要素信息的，想将这部分图片进一步过滤，需要进行图图差分，来去除没有变化信息的图片，仅保留有信息变化的图片送到人工查看。图图差分是指将两张图片的图片信息进行比对，以判断两张图片是否在同一场景采集。当前，主要采用传统的基于特征点比对的方式或者深度学习方法进行图图差分，这些方法应用在建筑物多的地方效果较好，而在建筑物少的地方，往往由于提取不到很多特征点或者没有建筑物特征容易导致匹配失败。

发明内容

本发明提供了一种道路场景匹配方法、装置及存储介质，能够提高道路场景图片匹配的效率和准确度。

第一方面，本发明提供了一种道路场景匹配方法，包括：

确定待匹配的两张道路场景图片；

提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度；

获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度；

根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率；

基于所述匹配概率确定两张所述道路场景图片的匹配结果。

第二方面，本发明提供了一种道路场景匹配装置，所述装置包括：

待匹配场景图片确定模块，用于确定待匹配的两张道路场景图片；

第一相似度确定模块，用于提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度；

第二相似度确定模块，用于获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度；

匹配概率计算模块，用于根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率；

匹配结果确定模块，用于基于所述匹配概率确定两张所述道路场景图片的匹配结果。

本发明第三方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令和至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如第一方面所述的道路场景匹配方法。

本发明第四方面提供了一种计算机存储介质，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如第一方面所述的道路场景匹配方法。

本发明提供的一种道路场景匹配方法、装置及存储介质，具有如下技术效果：

通过提取待匹配的两张道路场景图片各自的轨迹点信息和交通要素信息，将轨迹点信息输入匹配模型，输出获得两张道路场景图片的轨迹点信息相似的第一相似度，将交通要素信息输入分类器，输出获得两张道路场景图片的交通要素信息相似的第二相似度，再基于第一相似度和第二相似度综合计算这两张道路场景图片之间的匹配概率，通过该匹配概率即可确定两张道路场景图片之间是否匹配。本发明在处理道路场景图片是否匹配的问题上，利用道路场景图片中的内容信息和轨迹点信息，来辅助进行道路场景匹配，其中，轨迹点信息和交通要素信息容易提取且所需运算量小，配合匹配模型和分类器输出相似度比对结果，能够显著提升获得道路场景图像匹配结果的速度、降低运算量，并且，由于交通要素信息直接反映图片的关键内容，轨迹点信息直接反映图片获取当下的情况，从这两个维度进行场景图片匹配能够确保匹配结果的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明构思的一实施例的道路场景匹配系统的结构图；

图1A是本发明实施例示出的数据共享系统；

图2是本发明提供的道路场景匹配方法的一种实施例的流程示意图；

图3是本发明提供的道路场景匹配方法中获得特征向量的一种实施例的流程示意图；

图4是本发明提供的根据匹配概率进行道路场景匹配处理的一种实施例的流程示意图；

图5是本发明提供的道路场景图片的示意图；

图6是本发明提供的道路场景匹配装置的实施例的结构示意图；

图7是本发明提供的服务器的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明构思的一实施例的道路场景匹配系统的结构图。参照图1，道路场景匹配系统可以包括客户端10、数据收集服务器20和数据处理服务器30。但是，这只是用于实现本发明构思的目的的优选实施例，当然可根据需要附加或删除一部分结构要素。此外，图1所示的道路场景匹配系统的各个结构要素表示按功能区分的功能要素，应注意在实际物理环境中也可以以彼此合并的形式实现至少一个结构要素。例如，数据收集服务器20和数据处理服务器30可以以内置在同一服务器或者服务器集群中的方式实现数据收集服务器及数据处理服务器的各功能，也可以分属于不同的服务器或者服务器集群。

在所述道路场景匹配系统中，客户端10可以是配置在车辆中跟随车辆移动以对车辆所处道路环境进行拍摄的终端。在图1中，虽然客户端10被图示为搭载在车辆中，但也可以被实现为搭载在能够在道路上移动的或者设置在道路附近的任何载体上。客户端10可以为行车记录仪或可实现图像获取的任何装置，例如摄像机、可穿戴智能设备等。

此外，根据本发明构思的实施例，客户端10采集道路场景图片，将道路场景图片和采集该道路场景图片时对应的轨迹点数据作为道路场景数据上传至数据收集服务器20，数据收集服务器20存储各客户端10上传的道路场景数据，数据处理服务器30从数据收集服务器20提取道路场景数据进行数据匹配，对于任意两张道路场景图片，提取道路场景图片对应的轨迹点数据和图片中呈现的交通要素信息，将轨迹点信息输入匹配模型以获得两张道路场景图片之间的第一相似度，根据两张道路场景图片的交通要素信息确定对应的特征向量，将特征向量输入分类器以获得两张道路场景图片之间的第二相似度，然后根据第一相似度和第二相似度计算两张道路场景图片之间的匹配概率，从而基于匹配概率确定两张道路场景图片是否匹配。由此，通过消耗较小的运算量能够取得准确度较高的道路场景匹配结果。关于此的详细说明将在后面参照图2至图7来进行描述。

本发明实施例涉及的道路场景匹配系统中的数据处理服务器可以是由多个节点(接入网络中的任意形式的计算设备，如服务器、客户端)通过网络通信的形式连接形成的数据共享系统。

参见图1A所示的数据共享系统，数据共享系统100是指用于进行节点与节点之间数据共享的系统，该数据共享系统中可以包括多个节点101，多个节点101可以是指数据共享系统中各个客户端。每个节点101在进行正常工作可以接收到输入信息，并基于接收到的输入信息维护该数据共享系统内的共享数据。为了保证数据共享系统内的信息互通，数据共享系统中的每个节点之间可以存在信息连接，节点之间可以通过上述信息连接进行信息传输。例如，当数据共享系统中的任意节点接收到输入信息时，数据共享系统中的其他节点便根据共识算法获取该输入信息，将该输入信息作为共享数据中的数据进行存储，使得数据共享系统中全部节点上存储的数据均一致。

对于数据共享系统中的每个节点，均具有与其对应的节点标识，而且数据共享系统中的每个节点均可以存储有数据共享系统中其他节点的节点标识，以便后续根据其他节点的节点标识，将生成的区块广播至数据共享系统中的其他节点。每个节点中可维护一个如下表所示的节点标识列表，将节点名称和节点标识对应存储至该节点标识列表中。其中，节点标识可为IP(Internet Protocol，网络之间互联的协议)地址以及其他任一种能够用于标识该节点的信息。

以下介绍本发明道路场景匹配方法的一种实施例，图2是本发明提供的道路场景匹配方法的一种实施例的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述道路场景匹配方法可以由服务器端执行，包括：

S201：确定待匹配的两张道路场景图片。

待匹配的道路场景图片可以来自通过地图众包模式由不同客户端采集的众包数据，众包数据包括道路场景图片和采集道路场景图片时的轨迹点数据，具体的，轨迹点数据可以包含图片采集位置和方向角度，其中，图片采集位置为采集道路场景图片时车辆的GPS(Global Positioning System，全球定位系统)位置，方向角度为采集道路场景图片时车辆的行进方向与特定方向之间的夹角，本发明实施例中，该特定方向优选为正北方向，当然，也可以是指定的任意方向。

S203：提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度。

在一个可选的实施例中，从众包数据中提取的两张道路场景图片各自对应的轨迹点数据，将提取的轨迹点数据输入至匹配模型，利用匹配模型输出获得两张道路场景图片之间的第一相似度，第一相似度用于指示两张道路场景图片的轨迹点数据之间的相似性。其中，匹配模型可以通过如下方法预先确定：

步骤11、获取至少一个第一样本图片对，每个所述第一样本图片对包括两张道路场景图片。

步骤13、提取每个第一样本图片对中每张道路场景图片的轨迹点数据，根据提取的轨迹点数据确定与各个第一样本图片对对应的轨迹点数据对。

相应的，第一样本图片对中各道路场景图片的轨迹点数据也包含图片采集位置和方向角度，轨迹点数据对由第一样本图片对中两张道路场景图片分别对应的轨迹点数据组成。

步骤15、构建拟合函数。

建立一个拟合函数，记为P(x,y)＝A|x0-y0|+B|x1-y1|+C|x2-y2|+D，其中x，y分别表示第一样本图片对中两张道路场景图片的轨迹点数据，轨迹点数据为三维向量，其中x由经度x0、纬度x1和方向角度x2三个维度构成，y由经度y0、纬度y1和方向角度y2三个维度构成，A、B、C和D为参数。

步骤17、使用最小二乘法对所述轨迹点数据对进行曲线拟合，求解所述拟合函数中各参数的参数值。

获取m个第一样本图片对对应的轨迹点数据对，计为{(X_i，y_i)}(i＝0，1，2，...，m)，使用最小二乘法来对这些轨迹点数据对进行曲线拟合，求解出线性表达式P(x,y)中的参数A、B、C和D。其中，最小二乘法(又称最小平方法)是一种数学优化技术，可用于曲线拟合，它通过最小化误差的平方和寻找数据的最佳函数匹配，利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

步骤19、将所述参数值代入所述拟合函数，获得匹配模型。

将求解得到的参数值代入所述拟合函数，得到匹配模型，通过该匹配模型，当给定任意两张道路场景图片的轨迹点数据时，可以得到这两张道路场景图片的轨迹点数据之间的匹配概率，记作第一相似度。

S205：获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度。

图3是本发明提供的道路场景匹配方法中获得特征向量的一种实施例的流程示意图。请参见图3，所述获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量，包括：

S301、获取所述道路场景图片的交通要素信息，所述交通要素信息包括至少一个要素类别和与所述要素类别对应的交通要素。

在地图生产中，获取到道路众包数据后，可以检测道路场景图片包含的各项交通要素并进行精细的分类，利用这些交通要素来辅助执行两张道路场景图片的匹配任务，其中，交通要素包括各种圆牌、三角牌、矩形牌、不规则牌、红绿灯、斑马线、地标线、电子眼、地面文字等，如图5所示，交通要素的类别可以包括N个类别，例如限速、交限、红绿灯等。

道路众包数据中的道路场景图片可能存在不包含任何交通要素的图片，本实施例的方案仅用于对包含交通要素的道路场景图片进行匹配处理。

在一个可行的实施例中，道路场景图片包含的交通要素可以为一个或者多个，每个交通要素对应一个要素类别，交通要素可以是用矩形框从道路场景图片中标记出来的图像块，也可以是对该图像块进行文字识别得到的字符。

S303、获取预设的目标要素类别集合和根据所述目标要素类别集合构建的向量函数，所述目标要素类别集合包括至少一个目标要素类别，所述向量函数中的参量与所述目标要素类别一一对应。

从交通管制涉及的所有交通要素类别中确定出需要的目标要素类别，将这些目标要素类别汇总得到目标要素类别集合。根据目标交通要素类别集合设计一个向量函数M＝M1+......+MN，包括N个维度，N的取值与目标要素类别集合中目标要素类别的数量一致，每个维度对应一个目标要素类别。

S305、将所述目标要素类别集合中的目标要素类别分别与两张所述道路场景图片的要素类别进行比对，确定每个所述目标要素类别在两张所述道路场景图片中的出现结果。

目标要素类别在两张道路场景图片中的出现结果包括：目标要素类别同时出现在两张道路场景图片中，或者，目标要素类别仅出现在两张道路场景图片中的其中一张中，或者，目标要素类别在两张道路场景图片中均未出现。

S307、将两张所述道路场景图片的交通要素进行比对，获得两张所述道路场景图片中交通要素的比对结果。

当交通要素表示为图像块时，可以通过图像比对来获取交通要素比对结果；当交通要素表示为字符时，可以通过文字比对来获得交通要素比对结果。

S309、根据每个所述目标要素类别在两张所述道路场景图片中的出现结果、两张所述道路场景图片中交通要素的比对结果和预设的向量赋值规则为所述向量函数中各参量赋值。

具体包括：如果目标要素类别在两张道路场景图片中都没有出现，为目标要素类别对应的参量赋值为第一数值；如果目标要素类别仅在两张道路场景图片中的其中一张道路场景图片中出现，则为目标要素类别对应的参量赋值为第二数值；如果目标要素类别同时在两张道路场景图片中出现，并且，两张道路场景图片中与目标要素类别对应的交通要素相同，则为目标要素类别对应的参量赋值为第三数值。其中，第三数值大于第一数值，第一数值大于第二数值。

优选的，第一数值为0，第二数值为-1，第三数值为1。

S311、基于所述向量函数中各参量的赋值结果计算所述向量函数的解，根据所述向量函数的解确定所述特征向量。

在确定了每个目标要素类别对应的参量赋值结果后，将各参量赋值结果代入向量函数中求解，将向量函数的解作为所述特征向量。

接着将特征向量输入至分类器，获取分类器输出的两张道路场景图片之间的第二相似度，第二相似度用于指示两张道路场景图片中交通要素信息之间的相似性。其中，分类器可以通过如下方法确定：

步骤21、获取至少一个第二样本图片对，每个所述第二样本图片对包括两张道路场景图片。

步骤23、获取每个所述第二样本图片对中各所述道路场景图片的交通要素信息。获取道路场景图片的交通要素信息的方法与前述步骤S301相同，具体请参见步骤S301的相关阐述。

步骤25、根据所述第二样本图片对中两张所述道路场景图片中的交通要素信息进行向量化处理，获得与各个所述第二样本图片对对应的特征向量。其中，特征向量的确定方法与前述步骤S303-S311相同，在此不再赘述。

步骤27、根据所述第二样本图片对的特征向量构建模型。

步骤29、将构建的模型作为所述分类器。

将各第二样本图片对的特征向量作为训练数据集，根据训练数据集训练一个模型。本发明实施例中，所述模型为支持向量机SVM(Support Vector Machine)，采用非线性支持向量机学习算法进行模型训练，将上述训练数据集输入SVM，选择高斯核函数(Gaussian Kernel Function)作为模型对应的核函数，输出得到分类决策函数，训练得到的分类决策函数即为所述分类器。

S207：根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率。

S209：基于所述匹配概率确定两张所述道路场景图片的匹配结果。

图4是本发明提供的根据匹配概率进行道路场景匹配处理的一种实施例的流程示意图。请参见图4，在获取第一相似度和第二相似度之后包括如下数据处理步骤：

S401：根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率。

在一个可行的实施例中，可以将第一相似度与第二相似度之间的乘积作为两张道路场景图片之间的匹配概率。

S403：判断匹配概率是否小于预设阈值，如果匹配概率小于预设阈值，则执行步骤S407，如果匹配概率不小于预设阈值，则执行步骤S405。

S405：确定两张道路场景图片匹配。

S407：确定两张道路场景图片不匹配，并执行步骤S409-S413。

S409：分别获取两张道路场景图片的特征点信息。

S411：根据所述特征点信息对两张所述道路场景图片进行特征点匹配，获得特征点匹配结果。

S413：根据所述特征点匹配结果确定两张所述道路场景图片的匹配结果。

提取每张道路场景图片中的具有明显特征的点，例如角点等，获得特征点信息。其中，特征点提取方法包括SIFT(Scale Invariant Feature Transform，尺度不变特征变换)、SURF(Speeded Up Robust Features，改进了特征的提取和描述方式)、ORB(OrientedFAST and Rotated BRIEF，一种快速特征点提取和描述的算法)、FAST(features fromaccelerated segment test，特征提取算法)等。可以利用上述任一特征点提取方法从道路场景图片中提取获得特征点信息，本实施例对此不作限制。

在计算出两张道路场景图片各自的特征点信息后，对两张道路场景图片中的特征点信息进行匹配，如果两张道路场景图片匹配上的特征点数量超过一个设定值，即可以认为这两张道路场景图片相似，如果两张道路场景图片匹配上的特征点数量小于这个设定值，则认为这两张道路场景图片的匹配结果是不相似。具体可以采用特征点匹配算法，如BF(Brute-force matcher，暴力匹配)、FLANN(Flann Based Matcher近邻匹配)，进行特征点匹配信息的获取。

除了上述较为传统常见的匹配方案，还可以基于深度学习的方案进行图片之间的匹配，一般有两种实现形式：1、使用深度网络进行特征描述；2、以场景中比较明显的建筑物等为单位进行深度特征提取和匹配。此外，还可以使用场景分割结果来辅助匹配。

本发明实施例在通过图2所示道路场景匹配方法得到两张道路场景图片之间不匹配的结果后，进一步通过步骤S409-S413对两张道路场景图片是否匹配进行验证，以提升最终获得的匹配结果的准确度。

上述实施例通过提取待匹配的两张道路场景图片各自的轨迹点信息和交通要素信息，将轨迹点信息输入匹配模型，输出获得两张道路场景图片的轨迹点信息相似的第一相似度，将交通要素信息输入分类器，输出获得两张道路场景图片的交通要素信息相似的第二相似度，再基于第一相似度和第二相似度综合计算这两张道路场景图片之间的匹配概率，通过该匹配概率即可确定两张道路场景图片之间是否匹配。本发明在处理道路场景图片是否匹配的问题上，利用道路场景图片中的内容信息和轨迹点信息，来辅助进行道路场景匹配，其中，轨迹点信息和交通要素信息容易提取且所需运算量小，配合匹配模型和分类器输出相似度比对结果，能够显著提升获得道路场景图像匹配结果的速度、降低运算量，并且，由于交通要素信息直接反映图片的关键内容，轨迹点信息直接反映图片获取当下的情况，从这两个维度进行场景图片匹配能够确保匹配结果的准确度。

本发明实施例还提供了一种道路场景匹配装置，所述道路场景匹配装置可以设置在服务器端中，图6是本发明提供的道路场景匹配装置的实施例的结构示意图，请参见图6，所述装置可以包括待匹配场景图片确定模块610、第一相似度确定模块620、第二相似度确定模块630、匹配概率计算模块640和匹配结果确定模块650。

其中，待匹配场景图片确定模块610，用于确定待匹配的两张道路场景图片。

第一相似度确定模块620，用于提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度。

第二相似度确定模块630，用于获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度。

匹配概率计算模块640，用于根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率。

匹配结果确定模块650，用于基于所述匹配概率确定两张所述道路场景图片的匹配结果。

匹配模型通过以下方式确定：获取至少一个第一样本图片对，每个所述第一样本图片对包括两张道路场景图片；提取每个所述第一样本图片对中每张道路场景图片的轨迹点数据，根据提取的所述轨迹点数据确定与各个所述第一样本图片对对应的轨迹点数据对；构建拟合函数；使用最小二乘法对所述轨迹点数据对进行曲线拟合，求解所述拟合函数中各参数的参数值；将所述参数值代入所述拟合函数，获得匹配模型。

分类器通过以下方式确定：获取至少一个第二样本图片对，每个所述第二样本图片对包括两张道路场景图片；获取每个所述第二样本图片对中各所述道路场景图片的交通要素信息；根据所述第二样本图片对中两张所述道路场景图片中的交通要素信息进行向量化处理，获得与各个所述第二样本图片对对应的特征向量；根据所述第二样本图片对的特征向量构建模型；将构建的模型作为所述分类器。

在一个可选的实施例中，第二相似度确定模块630还用于：获取所述道路场景图片的交通要素信息，所述交通要素信息包括至少一个要素类别和与所述要素类别对应的交通要素；获取预设的目标要素类别集合和根据所述目标要素类别集合构建的向量函数，所述目标要素类别集合包括至少一个目标要素类别，所述向量函数中的参量与所述目标要素类别一一对应；将所述目标要素类别集合中的目标要素类别分别与两张所述道路场景图片的要素类别进行比对，确定每个所述目标要素类别在两张所述道路场景图片中的出现结果；将两张所述道路场景图片的交通要素进行比对，获得两张所述道路场景图片中交通要素的比对结果；根据每个所述目标要素类别在两张所述道路场景图片中的出现结果、两张所述道路场景图片中交通要素的比对结果和预设的向量赋值规则为所述向量函数中各参量赋值；基于所述向量函数中各参量的赋值结果计算所述向量函数的解，根据所述向量函数的解确定所述特征向量。

其中，所述根据每个所述目标要素类别在两张所述道路场景图片中的出现结果、两张所述道路场景图片中交通要素的比对结果和预设的向量赋值规则为所述向量函数中各参量赋值，包括：如果所述目标要素类别在两张所述道路场景图片中都没有出现，则为所述目标要素类别对应的参量赋值为第一数值；如果所述目标要素类别仅在两张所述道路场景图片中的其中一张道路场景图片中出现，则为所述目标要素类别对应的参量赋值为第二数值；如果所述目标要素类别同时在两张所述道路场景图片中出现，并且，两张所述道路场景图片中与所述目标要素类别对应的交通要素相同，则为所述目标要素类别对应的参量赋值为第三数值。

匹配结果确定模块650还用于：当匹配概率不小于预设阈值时，确定两张道路场景图片匹配；当匹配概率小于预设阈值时，确定两张道路场景图片不匹配。

在一个可行的实施例中，上述道路场景匹配装置还包括匹配模块，该匹配模块用于：分别获取两张所述道路场景图片的特征点信息；根据所述特征点信息对两张所述道路场景图片进行特征点匹配，获得特征点匹配结果；根据所述特征点匹配结果确定两张所述道路场景图片的匹配结果。

所述的道路场景匹配装置实施例中的道路场景匹配装置与图2-4对应的方法实施例基于同样地发明构思。

本发明实施例利用道路场景图片中的交通要素信息和轨迹点信息辅助进行道路场景匹配，将轨迹点信息输入匹配模型，输出获得两张道路场景图片的轨迹点信息相似的第一相似度，将交通要素信息输入分类器，输出获得两张道路场景图片的交通要素信息相似的第二相似度，再基于第一相似度和第二相似度综合计算这两张道路场景图片之间的匹配概率，通过该匹配概率确定两张道路场景图片之间是否匹配。其中，轨迹点信息和交通要素信息容易提取且所需运算量小，配合匹配模型和分类器输出相似度比对结果，能够显著提升获得道路场景图像匹配结果的速度、降低运算量，并且，由于交通要素信息直接反映图片的关键内容，轨迹点信息直接反映图片获取当下的情况，从这两个维度进行场景图片匹配提高了匹配成功的比例，从而将大量交通要素未发生变化的图片进行剔除，留图量大幅减少，能够减少人工查看图片量，提高了人工作业效率。

本发明实施例提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令和至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如图2-4对应的道路场景匹配方法。

存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本发明实施例还提供了一种服务器的结构示意图，请参阅图7，该服务器700用于实施上述实施例中提供的道路场景匹配方法，具体来讲，所述服务器结构可以包括上述道路场景匹配装置。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)710(例如，一个或一个以上处理器)和存储器730，一个或一个以上存储应用程序723或数据722的存储介质720(例如一个或一个以上海量存储设备)。其中，存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器710可以设置为与存储介质720通信，在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口740，和/或，一个或一个以上操作系统721，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

本发明的实施例还提供了一种存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种道路场景匹配方法相关的至少一条指令和至少一段程序，该至少一条指令和该至少一段程序由该处理器加载并执行以实现上述图2-4对应的道路场景匹配方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述发明提供的道路场景匹配方法、装置及存储介质，通过提取待匹配的两张道路场景图片各自的轨迹点信息和交通要素信息，将轨迹点信息输入匹配模型，输出获得两张道路场景图片的轨迹点信息相似的第一相似度，将交通要素信息输入分类器，输出获得两张道路场景图片的交通要素信息相似的第二相似度，再基于第一相似度和第二相似度综合计算这两张道路场景图片之间的匹配概率，通过该匹配概率即可确定两张道路场景图片之间是否匹配。本发明在处理道路场景图片是否匹配的问题上，利用道路场景图片中的内容信息和轨迹点信息，来辅助进行道路场景匹配，其中，轨迹点信息和交通要素信息容易提取且所需运算量小，配合匹配模型和分类器输出相似度比对结果，能够显著提升获得道路场景图像匹配结果的速度、降低运算量，并且，由于交通要素信息直接反映图片的关键内容，轨迹点信息直接反映图片获取当下的情况，从这两个维度进行场景图片匹配确保了匹配结果的准确度。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种道路场景匹配方法，其特征在于，包括：

确定待匹配的两张道路场景图片；

提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度；所述匹配模型的参数值是基于对至少一个第一样本图片对对应的轨迹点数据进行曲线拟合得到的，每个所述第一样本图片对包括两张道路场景图片；

获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度；

根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率；

基于所述匹配概率确定两张所述道路场景图片的匹配结果。

2.根据权利要求1所述的方法，其特征在于，所述获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量，包括：

获取所述道路场景图片的交通要素信息，所述交通要素信息包括至少一个要素类别和与所述要素类别对应的交通要素；

获取预设的目标要素类别集合和根据所述目标要素类别集合构建的向量函数，所述目标要素类别集合包括至少一个目标要素类别，所述向量函数中的参量与所述目标要素类别一一对应；

将所述目标要素类别集合中的目标要素类别分别与两张所述道路场景图片的要素类别进行比对，确定每个所述目标要素类别在两张所述道路场景图片中的出现结果；

将两张所述道路场景图片的交通要素进行比对，获得两张所述道路场景图片中交通要素的比对结果；

根据每个所述目标要素类别在两张所述道路场景图片中的出现结果、两张所述道路场景图片中交通要素的比对结果和预设的向量赋值规则为所述向量函数中各参量赋值；

基于所述向量函数中各参量的赋值结果计算所述向量函数的解，根据所述向量函数的解确定所述特征向量。

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述目标要素类别在两张所述道路场景图片中的出现结果、两张所述道路场景图片中交通要素的比对结果和预设的向量赋值规则为所述向量函数中各参量赋值，包括：

如果所述目标要素类别在两张所述道路场景图片中都没有出现，则为所述目标要素类别对应的参量赋值为第一数值；

如果所述目标要素类别仅在两张所述道路场景图片中的其中一张道路场景图片中出现，则为所述目标要素类别对应的参量赋值为第二数值；

如果所述目标要素类别同时在两张所述道路场景图片中出现，并且，两张所述道路场景图片中与所述目标要素类别对应的交通要素相同，则为所述目标要素类别对应的参量赋值为第三数值。

4.根据权利要求1所述的方法，其特征在于，所述匹配模型通过以下方式确定：

获取至少一个第一样本图片对，每个所述第一样本图片对包括两张道路场景图片；

提取每个所述第一样本图片对中每张道路场景图片的轨迹点数据，根据提取的所述轨迹点数据确定与各个所述第一样本图片对对应的轨迹点数据对；

构建拟合函数；

使用最小二乘法对所述轨迹点数据对进行曲线拟合，求解所述拟合函数中各参数的参数值；

将所述参数值代入所述拟合函数，获得匹配模型。

5.根据权利要求1所述的方法，其特征在于，所述分类器通过以下方式确定：

获取至少一个第二样本图片对，每个所述第二样本图片对包括两张道路场景图片；

获取每个所述第二样本图片对中各所述道路场景图片的交通要素信息；

根据所述第二样本图片对中两张所述道路场景图片中的交通要素信息进行向量化处理，获得与各个所述第二样本图片对对应的特征向量；

根据所述第二样本图片对的特征向量构建模型；

将构建的模型作为所述分类器。

6.根据权利要求1所述的方法，其特征在于，所述基于所述匹配概率确定两张所述道路场景图片的匹配结果，包括：

当所述匹配概率不小于预设阈值时，确定两张所述道路场景图片匹配；

当所述匹配概率小于预设阈值时，确定两张所述道路场景图片不匹配。

7.根据权利要求6所述的方法，其特征在于，当两张所述道路场景图片不匹配时，所述方法还包括：

分别获取两张所述道路场景图片的特征点信息；

根据所述特征点信息对两张所述道路场景图片进行特征点匹配，获得特征点匹配结果；

根据所述特征点匹配结果确定两张所述道路场景图片的匹配结果。

8.一种道路场景匹配装置，其特征在于，所述装置包括：

待匹配场景图片确定模块，用于确定待匹配的两张道路场景图片；

第一相似度确定模块，用于提取所述道路场景图片对应的轨迹点数据，所述轨迹点数据包括图片采集位置和方向角度，所述方向角度为采集所述道路场景图片的车辆的行进方向与特定方向之间的夹角；将两张所述道路场景图片的轨迹点数据输入至匹配模型，获取所述匹配模型输出的两张所述道路场景图片间的第一相似度；所述匹配模型的参数值是基于对至少一个第一样本图片对对应的轨迹点数据进行曲线拟合得到的，每个所述第一样本图片对包括两张道路场景图片；

第二相似度确定模块，用于获取所述道路场景图片的交通要素信息，根据两张所述道路场景图片中的交通要素信息进行向量化处理，获得特征向量；将所述特征向量输入至分类器，获取所述分类器输出的两张所述道路场景图片间的第二相似度；

匹配概率计算模块，用于根据所述第一相似度和所述第二相似度计算两张所述道路场景图片的匹配概率；

匹配结果确定模块，用于基于所述匹配概率确定两张所述道路场景图片的匹配结果。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令和至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的道路场景匹配方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者至少一段程序由处理器加载并执行以实现如权利要求1-7任一所述的道路场景匹配方法。

Images