CN110069593B - 图像处理方法及系统、服务器、计算机可读介质 - Google Patents

Abstract

本公开提供了一种图像处理方法，包括：获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿。本公开还提供了图像处理系统、服务器及计算机可读介质。

Description

图像处理方法及系统、服务器、计算机可读介质

技术领域

本公开实施例涉及图像处理技术领域，特别涉及图像处理方法及系统、服务器、计算机可读介质。

背景技术

智能驾驶行业已形成共识，面向L3/L4甚至更高级别的自动驾驶汽车，高精度地图是重要支撑，而高精度地图的刚需是快速更新，传统的部署采集车的方式无法满足更新频率，因此众包部署的方案受到广泛关注。众包图像定位技术是指通过对众包部署的图像进行分析，确定拍摄该图像的相机在高精度地图中的位姿，为后续的众包更新地图的流程奠定基础。

发明内容

本公开实施例提供一种图像处理方法及系统、服务器、计算机可读介质。

第一方面，本公开实施例提供一种图像定处理方法，该图像处理方法包括：

获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；

获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；

根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；

根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿。

在一些实施例中，所述获取采集节点采集的众包图像对应的第一地图数据包括：

基于预设的语义分割算法，获取采集节点采集的众包图像对应的第一地图数据。

在一些实施例中，所述获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据包括：

根据所述采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

在一些实施例中，所述获取采集节点采集的众包图像对应的第一地图数据之后还包括：

判断所述第一地图数据中是否包含预设类别的地图要素；

若判断出所述第一地图数据中包含预设类别的地图要素时，执行获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据的步骤。

在一些实施例中，若判断出所述第一地图数据中不包含预设类别的地图要素时，所述图像处理方法还包括：

将预设图像位姿数据库中的具有预设类别的地图要素的图像与所述众包图像进行相似帧检测，确定出众包图像对应的参考图像，所述参考图像为预设图像位姿数据库中与所述众包图像相似且具有预设类别的地图要素的图像；

采用预设的帧间匹配方法，确定出所述参考图像和所述众包图像之间的相对位姿；

根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像对应的当前位姿。

在一些实施例中，所述根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对包括：

针对第一地图数据中的每个地图要素，确定出该地图要素的类别；

针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配；

针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

在一些实施例中，所述针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配包括：

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值；

针对每个所述差值，判断该差值是否小于或等于预设阈值；

针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

在一些实施例中，所述根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿包括：

针对每个第一地图要素匹配对，以所述众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行迭代求解，得到所述众包图像对应的当前位姿。

在一些实施例中，所述根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿之后还包括：

根据所述众包图像对应的当前位姿，将所述第二地图数据中的所有地图要素投影至所述众包图像上，确定出至少一个第二地图要素匹配对；

根据所述至少一个第一地图要素匹配对和所述第二地图要素匹配对，基于预设的位姿求解模型，更新所述众包图像对应的当前位姿。

第二方面，本公开实施例提供一种图像处理系统，所述图像处理系统包括：

第一获取模块，用于获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；

第二获取模块，用于获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；

第一匹配对确定模块，用于根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；

位姿求解模块，用于根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿。

在一些实施例中，所述第一获取模块具体用于基于预设的语义分割算法，获取采集节点采集的众包图像对应的第一地图数据。

在一些实施例中，所述第二获取模块具体用于根据所述采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

在一些实施例中，还包括判断模块；

所述判断模块用于判断所述第一地图数据中是否包含预设类别的地图要素；若判断出所述第一地图数据中包含预设类别的地图要素时，触发所述第二获取模块执行获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据的步骤。

在一些实施例中，还包括相似帧检测模块和帧间匹配模块；

所述相似帧检测模块用于在所述判断模块判断出所述第一地图数据中不包含预设类别的地图要素时，将预设图像位姿数据库中的具有预设类别的地图要素的图像与所述众包图像进行相似帧检测，确定出众包图像对应的参考图像，所述参考图像为预设图像位姿数据库中与所述众包图像相似且具有预设类别的地图要素的图像；

所述帧间匹配模块用于采用预设的帧间匹配方法，确定出所述参考图像和所述众包图像之间的相对位姿；

所述位姿求解模块还用于根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像对应的当前位姿。

在一些实施例中，所述第一匹配对确定模块具体用于：

针对第一地图数据中的每个地图要素，确定出该地图要素的类别；

针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配；

针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

在一些实施例中，所述第一匹配对确定模块具体用于：

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值；

针对每个所述差值，判断该差值是否小于或等于预设阈值；

针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

在一些实施例中，所述位姿求解模块具体用于：针对每个第一地图要素匹配对，以所述众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行迭代求解，得到所述众包图像对应的当前位姿。

在一些实施例中，还包括位姿优化模块；

所述位姿优化模块用于根据所述众包图像对应的当前位姿，将所述第二地图数据中的所有地图要素投影至所述众包图像上，确定出至少一个第二地图要素匹配对；

根据所述至少一个第一地图要素匹配对和所述第二地图要素匹配对，基于预设的位姿求解模型，更新所述众包图像对应的当前位姿。

第三方面，本公开实施例提供一种服务器，该服务器包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述的图像处理方法。

第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如上述的图像处理方法。

本公开实施例提供的图像处理方法及系统、服务器、计算机可读介质，不依赖于高精度的GPS和惯性导航装置对众包图像进行定位，成本低，适用于所有众包部署的方案，应用范围广泛。而且由于充分利用高精度地图的先验信息(预设地面高度、预设车道中心线、高精地图要素数据库)，便于操作，使得众包图像的定位具有较高的侧向定位精度和纵向定位精度，同时具有良好的鲁棒性。

附图说明

附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例提供的一种图像处理方法的流程图；

图2为本公开实施例中步骤13的一种具体实施方式的流程图；

图3为本公开实施例中步骤132的一种具体实施方式的流程图；

图4为本公开实施例提供的另一种图像处理方法的流程图；

图5为本公开实施例提供的又一种图像处理方法的流程图；

图6为本公开实施例提供的一种图像处理系统的结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的图像处理方法及系统、服务器、计算机可读介质进行详细描述。

在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。

本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。因此，实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

图1为本公开实施例提供的一种图像处理方法的流程图，如图1所示，该方法可以由图像处理系统来执行，该系统可以通过软件和/或硬件的方式实现，该系统可以集成在服务器中。该图像处理方法包括：

步骤11、获取采集节点采集的众包图像对应的第一地图数据，第一地图数据包括至少一个地图要素。

其中，采集节点可以为车载相机、手机相机、数码相机或者摄像机等。需要了解的是，众包图像(如道路图像)是指由大众经过一定方法(如使用车载相机拍摄)获取后通过互联网向公众或相关机构提供的一种开放式图像数据。其中，大众可以自愿提供众包图像或者通过参与相关机构下发的众包任务的方式提供众包图像。

本公开实施例对于众包图像的获取方式不作限制，可以通过采集节点采集众包图像后主动上传的方式获取，也可以通过其他方式(如定期询问采集节点的方式)获取采集节点采集的众包图像。

在本公开实施例中，第一地图数据中的所述至少一个地图要素至少包括点要素，其中，点要素的数量为至少一个。在一些实施例中，至少一个地图要素还可以包括线要素，其中，线要素的数量为至少一个。

在一些实施例中，至少一个地图要素包括点要素、线要素中的至少一者。其中，点要素的数量为至少一个，线要素的数量为至少一个。

在本公开实施例中，点要素可以为道路标识牌、信号指示牌等大牌，线要素可以为车道线、人行横道、隔离带、杆等。例如，第一地图数据包括道路标识牌、车道线、杆。

在步骤11中，在获取采集节点采集的众包图像后，获取该众包图像对应的第一地图数据。在一些实施例中，步骤11包括：基于预设的语义分割算法，获取采集节点采集的众包图像对应的第一地图数据。

在一些实施例中，预设的语义分割算法包括MASK-RCNN算法，基于MASK-RCNN算法对该众包图像进行语义分割，得到该众包图像对应的至少一个地图要素。在一些实施例中，步骤11包括：

步骤111、获取众包图像中每个像素所属的地图要素的类别和每个像素对应的像素坐标。

其中，地图要素的类别可以为点要素的类别或者线要素的类别，点要素的类别包括道路标识牌、信号指示牌等大牌类别，线要素的类别包括车道线、人行横道、隔离带、杆等类别。

步骤112、针对每个地图要素的类别，根据该地图要素的类别对应的所有像素的像素坐标，确定出该地图要素的类别对应的地图要素的轮廓；

例如，该地图要素的类别为点要素的类别，该点要素的类别为大牌(如道路标识牌)的类别，则根据对应的所有像素的像素坐标，确定出该大牌的轮廓。

步骤113、针对每个地图要素的类别，根据该地图要素的类别对应的地图要素的轮廓，确定出该地图要素的类别对应的所有有效的地图要素。

例如，该地图要素的类别为点要素的类别，该点要素的类别为大牌(如道路标识牌)的类别，则根据该大牌的类别对应的大牌的轮廓，筛选掉面积小于预设面积阈值的大牌，最终得到该大牌的类别对应的所有有效(面积大于或等于预设面积阈值)的大牌。

步骤12、获取采集该众包图像时采集节点所在的位置对应的第二地图数据，第二地图数据包括至少一个地图要素。

在本公开实施例中，在步骤12中，至少一个地图要素包括点要素、线要素中的至少一者，点要素的数量为至少一个，线要素的数量为至少一个。其中，点要素可以为道路标识牌、信号指示牌等大牌，线要素可以为车道线、人行横道、隔离带、杆等。例如，第一地图数据包括道路标识牌、车道线、杆。

在步骤12中，首先获取采集节点在采集该众包图像时所处的位置，该位置可以为采集节点GPS位置，而后，获取该位置对应的第二地图数据。在一些实施例中，步骤12包括：根据采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

其中，预先在高精地图要素数据库中存储各位置对应的第二地图数据，在确定该采集节点所处的位置后，可以根据预设高精地图要素数据库中的对应关系，查询出该位置对应的第二地图数据。

在一些实施例中，该位置对应的第二地图数据为该位置对应的预设空间范围内的第二地图数据。例如，该位置对应的预设空间范围为以该位置为圆心，预设距离(例如80米)为半径的空间范围。

步骤13、根据第一地图数据和第二地图数据，确定出第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对。

图2为本公开实施例中步骤13的一种具体实施方式的流程图，在一些实施例中，如图2所示，步骤13包括：

步骤131、针对第一地图数据中的每个地图要素，确定出该地图要素的类别。

其中，地图要素的类别可以为点要素的类别或者线要素的类别，更为具体地，点要素的类别包括道路标识牌、信号指示牌等大牌类别，线要素的类别包括车道线、人行横道、隔离带、杆等类别。例如，第一地图数据包括三个地图要素，该三个地图要素分别为道路标识牌、车道线、杆，则针对该三个地图要素，确定出该三个地图要素所属的类别分别为道路标识牌的类别、车道线的类别、杆的类别。

步骤132、针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配。

例如，第一地图数据中，属于点要素的类别的点要素的集合为S1＝{S11，S12，S13}，属于线要素的类别的线要素的集合为L1＝{L11，L12，L13}，第二地图数据中，属于点要素的类别的点要素的集合为S2＝{S21，S22，S23，S24，S25}，属于线要素的类别的线要素的集合为L2＝{L21，L22，L23，L24，L25}。那么，在步骤132中，遍历第一地图数据中属于点要素的类别的点要素集合S1中的每一个点要素，在第二地图数据中属于点要素的类别的点要素集合S2中寻找匹配对。

以点要素S11为例，在步骤132中，针对第一地图数据中的每个地图要素，例如S11，则将该地图要素即S11与第二地图数据中类别与该地图要素S11相同的各地图要素S21，S22，S23，S24，S25一一进行匹配，即将S11与S21进行匹配，将S11与S22进行匹配，将S11与S23进行匹配，将S11与S24进行匹配，将S11与S25进行匹配，从而寻找出S11在集合S2中的匹配对象。依此类推。

图3为本公开实施例中步骤132的一种具体实施方式的流程图，在一些实施例中，如图3所示，步骤132包括：

步骤1321、针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息。

例如，第一地图数据包括前述集合S1和集合L1，针对集合S1中的点要素S11(例如，道路标识牌)，计算出该点要素S11(例如，道路标识牌)对应的尺度信息，依此类推，计算出第一地图数据中所有地图要素分别对应的尺度信息。其中，所述尺度信息包括高宽比，即高度和宽度的比值。

步骤1322、针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息。

例如，第二地图数据包括前述集合S2和集合L2，针对集合S2中的点要素S21(例如，道路标识牌)，计算出该点要素S21(例如，道路标识牌)对应的尺度信息，依此类推，计算出第二地图数据中所有地图要素分别对应的尺度信息。其中，所述尺度信息包括高宽比，即高度和宽度的比值。

步骤1323、针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值。

例如，第一地图数据包括前述集合S1和集合L1，针对集合S1中的点要素S11(例如，道路标识牌)，计算该点要素S11对应的尺度信息与第二地图数据中类别与该点要素S11相同的各点要素S21，S22，S23，S24，S25分别对应的尺度信息之间的差值，即，计算S11对应的尺度信息与S21对应的尺度信息之间的差值，计算S11对应的尺度信息与S22对应的尺度信息之间的差值，计算S11对应的尺度信息与S23对应的尺度信息之间的差值，计算S11对应的尺度信息与S24对应的尺度信息之间的差值，计算S11对应的尺度信息与S25对应的尺度信息之间的差值，依此类推。

步骤1324、针对每个所述差值，判断该差值是否小于或等于预设阈值。

针对步骤1323中计算出的每个差值，判断该差值是否小于或等于预设阈值，其中，预设预设可以根据实际需要设置，本公开实施例对此不作限制。若判断出该差值小于或等于预设阈值时，表明该差值对应的两个地图要素属于相互匹配的地图要素，故执行步骤1325，若判断出该差值大于预设阈值时，该差值对应的两个地图要素互相并不匹配，故不作处理。

步骤1325、针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

可以理解的是，确定为互相匹配的地图要素即为一个第一地图要素匹配对。

步骤133、针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

例如，在步骤132中，确定出第一地图数据中点要素S11与第二地图数据中点要素S21匹配，则在步骤133中，将点要素S11和点要素S21确定为一个第一地图要素匹配对，依此类推，从而确定出第一地图数据和所述第二地图数据之间的所有的第一地图要素匹配对。

在本公开实施例中，若未能找到第一地图数据和第二地图数据之间的至少一个第一地图要素匹配对，则结束流程。

步骤14、根据至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出众包图像对应的当前位姿。

在一些实施例中，步骤14包括：针对每个第一地图要素匹配对，以众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行迭代求解，得到众包图像对应的当前位姿。

其中，预设地面高度可以为采集节点采集众包图像时所在的位置的地面高度，预设车道中心线可以为采集节点采集众包图像时所在的位置的车道中心线。

其中，由于目标函数可等效为非线性的最小二乘问题，因此预设算法可以为高斯牛顿法(LM)或者列文伯格-马夸尔特方法。

图4为本公开实施例提供的另一种图像处理方法的流程图，在一些实施例中，如图4所示，步骤14之后还包括：

步骤15、根据众包图像对应的当前位姿，将第二地图数据中的所有地图要素投影至众包图像上，确定出至少一个第二地图要素匹配对。

在一些实施例中，针对每个第一地图要素匹配对，在步骤14中求解出来的众包图像对应的当前位姿，若该当前位姿的明显高于预设地面高度(当前位姿与预设地面高度的距离超过预设垂向距离)或远离预设车道中心线(当前位姿与预设车道中心线的距离超过预设横向距离)，则说明求解出来的当前位姿明显不正确，其对应的第一地图要素匹配对也是不正确的匹配对，因此滤除该第一地图要素匹配对；而如果求解出来的众包图像对应的当前位姿是合理的(例如低于预设地面高度或者距离预设车道中心线较近)，则说明对应的第一地图要素匹配对是正确的匹配对。若确定出第一地图要素匹配对为正确的匹配对时，执行步骤15。

在步骤15中，根据求解出来的众包图像对应的当前位姿，将第二地图数据中的所有地图要素投影至众包图像上，寻找出更多的匹配对，即确定出至少一个第二地图要素匹配对，第二地图要素匹配对可以理解为上述至少一个第一地图要素匹配对中没有的匹配对。例如，在进行投影时，可以确定出重合度高于预设重合度的地图要素，且该重合度高于预设重合度的地图要素不属于前述至少一个地图要素匹配对，则认为该重合度高于预设重合度的地图要素为第二地图要素匹配对。若未能确定出一个第二地图要素匹配对时，则结束流程。

步骤16、根据至少一个第一地图要素匹配对和第二地图要素匹配对，基于预设的位姿求解模型，更新众包图像对应的当前位姿。

其中，可以将一个第二地图要素匹配对当作一个第一地图要素匹配对，因此，关于步骤16的描述可参见上述对步骤14的描述，此处不再赘述。

需要说明的是，在步骤16中，更新众包图像对应的当前位姿后，继续循环执行步骤15和步骤16，继续更新优化众包图像对应的当前位姿，直至第二地图要素匹配对的数量不再增加为止。

图5为本公开实施例提供的又一种图像处理方法的流程图，在一些实施例中，当第一地图数据中的至少一个地图要素包括点要素、线要素中的至少一者时，如图5所示，在步骤11之后还包括：

步骤11A、判断第一地图数据中是否包含预设类别的地图要素，若是，执行步骤12，否则执行步骤11B。

其中，预设类别可以为点要素的类别，即步骤11A可以理解为，判断第一地图数据中的至少一个地图要素中是否包含点要素。

在本公开实施例中，对于没有点要素(如道路标识牌等大牌)的众包图像，就只有线要素(如杆、车道线等)可以使用，由于杆、车道线等属于线要素，添加了地面高度约束和车道线中心线约束之后可以保证众包图像较高的侧向定位精度，但是却很难保证众包图像较高的纵向定位精度。因此需要执行下述步骤11B至步骤11D对该类没有点要素的众包图像的位姿进行计算。

而针对有预设类别的地图要素(即点要素)的众包图像，执行上述步骤12至步骤14即可得到具有点要素的众包图像的当前位姿。

步骤11B、将预设图像位姿数据库中的具有预设类别的地图要素的图像与众包图像进行相似帧检测，确定出众包图像对应的参考图像。

其中，参考图像为预设图像位姿数据库中与众包图像相似且具有预设类别的地图要素的图像。其中，可以基于预设的相似帧检测算法，对众包图像与预设图像位姿数据库中的具有预设类别的地图要素的图像进行相似帧检测，确定出预设图像位姿数据库中与众包图像相似且具有预设类别的地图要素的图像即众包图像对应的参考图像。例如，采用NetVLAD网络，将众包图像转换为图像向量，将预设图像位姿数据库中的具有预设地图要素的图像均转换为图像向量，计算众包图像对应的图像向量与预设图像位姿数据库中的具有预设地图要素的图像分别对应的图像向量之间的距离，将距离众包图像对应的图像向量最小的图像确定为参考图像。

步骤11C、采用预设的帧间匹配方法，确定出参考图像和众包图像之间的相对位姿。

在一些实施例中，预设的帧间匹配方法可以采用sfm算法或视觉里程计算法。在一些实施例中，步骤11C包括：提取众包图像对应的特征点(例如，车道线、杆)；提取参考图像对应的特征点(例如，车道线、杆)；对参考图像对应的特征点和众包图像对应的特征点进行特征匹配，确定出众包图像与参考图像之间的特征点匹配对，其中，特征匹配可以采用RANSAC方法；根据众包图像与参考图像之间的特征点匹配对计算出该众包图像与参考图像之间的相对位姿。

步骤11D、根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像的当前位姿。

在上述步骤11B至步骤11D中，通过引入多帧的帧间匹配观测，建立没有点要素的众包图像与有点要素的参考图像之间的相对位姿关系，将没有点要素的众包图像与有点要素的参考图像之间的相对位姿关系与有点要素的参考图像的位姿进行融合，从而实现对没有点要素的众包图像的高精度纵向定位。

在本公开实施例中，步骤11A至步骤11D还可以在步骤12之后执行，此种情况下，步骤11A中，若判断出第一地图数据中包含预设类别的地图要素时，则执行步骤13。

在一些实施例中，在步骤11D中确定出众包图像对应的当前位姿之后，还可以执行步骤15和步骤16，以更新优化众包图像对应的当前位姿。

在很多应用场景中，针对只有一个点要素的众包图像，或者即使有很多点要素，但很多点要素之间存在共面的现象的众包图像，在进行位姿求解时，容易导致位姿求解的不稳定现象。因此，在本公开实施例中，在计算众包图像对应的当前位姿时，通过引入预设地面高度的软约束和预设车道中心线的软约束，大大改善了位姿求解的不稳定的现象。

本公开实施例所提供的图像处理方法，不依赖于高精度的GPS和惯性导航装置对众包图像进行定位，成本低，适用于所有众包部署的方案，应用范围广泛。而且由于充分利用高精度地图的先验信息(预设地面高度、预设车道中心线、高精地图要素数据库)，便于操作，使得众包图像的定位具有较高的侧向定位精度和纵向定位精度，同时具有良好的鲁棒性。

图6为本公开实施例提供的一种图像处理系统的结构示意图，如图6所示，该图像处理系统用于实现上述的图像处理方法，该图像处理系统包括：第一获取模块31、第二获取模块32、第一匹配对确定模块33和位姿求解模块34。

其中，第一获取模块31用于获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；第二获取模块32用于获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；第一匹配对确定模块33用于根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；位姿求解模块34用于根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿。

在一些实施例中，第一获取模块31具体用于基于预设的语义分割算法，获取采集节点采集的众包图像对应的第一地图数据。

在一些实施例中，第二获取模块32具体用于根据所述采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

在一些实施例中，图像处理系统还包括判断模块35；所述判断模块35用于判断所述第一地图数据中是否包含预设类别的地图要素；若判断出所述第一地图数据中包含预设类别的地图要素时，触发所述第二获取模块32执行获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据的步骤。

在一些实施例中，图像处理系统还包括相似帧检测模块36和帧间匹配模块37；其中，相似帧检测模块36用于在所述判断模块35判断出所述第一地图数据中不包含预设类别的地图要素时，将预设图像位姿数据库中的具有预设类别的地图要素的图像与所述众包图像进行相似帧检测，确定出众包图像对应的参考图像，所述参考图像为预设图像位姿数据库中与所述众包图像相似且具有预设类别的地图要素的图像；所述帧间匹配模块37用于采用预设的帧间匹配方法，确定出所述参考图像和所述众包图像之间的相对位姿；位姿求解模块34还用于根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像对应的当前位姿。

在一些实施例中，所述第一匹配对确定模块33具体用于：针对第一地图数据中的每个地图要素，确定出该地图要素的类别；针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配；针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

在一些实施例中，所述第一匹配对确定模块33具体用于：针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息；针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息；针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值；针对每个所述差值，判断该差值是否小于或等于预设阈值；针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

在一些实施例中，所述位姿求解模块34具体用于：针对每个第一地图要素匹配对，以所述众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行求解，得到所述众包图像对应的当前位姿。

在一些实施例中，图像处理系统还包括位姿优化模块38；其中，所述位姿优化模块38用于根据所述众包图像对应的当前位姿，将所述第二地图数据中的所有地图要素投影至所述众包图像上，确定出至少一个第二地图要素匹配对；根据所述至少一个第一地图要素匹配对和所述第二地图要素匹配对，基于预设的位姿求解模型，更新所述众包图像对应的当前位姿。

此外，本公开实施例所提供的图像处理系统具体用于实现前述图像处理方法，具体可参见前述图像处理方法的描述，此处不再赘述。

本公开实施例还提供了一种服务器，该服务器包括：一个或多个处理器以及存储装置；其中，存储装置上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现前述的图像处理方法。

本公开实施例还提供了一计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被执行时实现前述的图像处理方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (18)

1.一种图像处理方法，包括：

获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；

获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；

根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；每个所述第一地图要素匹配对包括所述第一地图数据中的一个地图要素，以及所述第二地图数据中类别与该一个地图要素的类别相同的、且与该一个地图要素匹配的地图要素；

根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，以预设地面高度和预设车道中心线为模型的约束条件，确定出所述众包图像对应的当前位姿；

所述获取采集节点采集的众包图像对应的第一地图数据，包括：

获取众包图像中每个像素所属的地图要素的类别和每个像素对应的像素坐标；所述地图要素的类别包括点要素的类别和线要素的类别，所述点要素的类别至少包括道路标识牌、信号指示牌，所述线要素的类别至少包括车道线、人行横道、隔离带、杆；

针对每个地图要素的类别，根据该地图要素的类别对应的所有像素的像素坐标，确定出该地图要素的类别对应的地图要素的轮廓；

根据该地图要素的类别对应的地图要素的轮廓，确定出该地图要素的类别对应的所有有效的地图要素。

2.根据权利要求1所述的图像处理方法，其中，所述获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据包括：

根据所述采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

3.根据权利要求1所述的图像处理方法，其中，所述获取采集节点采集的众包图像对应的第一地图数据之后还包括：

判断所述第一地图数据中是否包含预设类别的地图要素；

若判断出所述第一地图数据中包含预设类别的地图要素时，执行获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据的步骤。

4.根据权利要求3所述的图像处理方法，其中，若判断出所述第一地图数据中不包含预设类别的地图要素时，所述图像处理方法还包括：

将预设图像位姿数据库中的具有预设类别的地图要素的图像与所述众包图像进行相似帧检测，确定出众包图像对应的参考图像，所述参考图像为预设图像位姿数据库中与所述众包图像相似且具有预设类别的地图要素的图像；

采用预设的帧间匹配方法，确定出所述参考图像和所述众包图像之间的相对位姿；

根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像对应的当前位姿。

5.根据权利要求1所述的图像处理方法，其中，所述根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对包括：

针对第一地图数据中的每个地图要素，确定出该地图要素的类别；

针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配；

针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

6.根据权利要求5所述的图像处理方法，其中，所述针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配包括：

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值；

针对每个所述差值，判断该差值是否小于或等于预设阈值；

针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

7.根据权利要求1所述的图像处理方法，其中，所述根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿包括：

针对每个第一地图要素匹配对，以所述众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行迭代求解，得到所述众包图像对应的当前位姿。

8.根据权利要求7所述的图像处理方法，其中，所述根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，确定出所述众包图像对应的当前位姿之后还包括：

根据所述众包图像对应的当前位姿，将所述第二地图数据中的所有地图要素投影至所述众包图像上，确定出至少一个第二地图要素匹配对；

根据所述至少一个第一地图要素匹配对和所述第二地图要素匹配对，基于预设的位姿求解模型，更新所述众包图像对应的当前位姿。

9.一种图像处理系统，包括：

第一获取模块，用于获取采集节点采集的众包图像对应的第一地图数据，所述第一地图数据包括至少一个地图要素；

第二获取模块，用于获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据，所述第二地图数据包括至少一个地图要素；

第一匹配对确定模块，用于根据所述第一地图数据和所述第二地图数据，确定出所述第一地图数据和所述第二地图数据之间的至少一个第一地图要素匹配对；每个所述第一地图要素匹配对包括所述第一地图数据中的一个地图要素，以及所述第二地图数据中类别与该一个地图要素的类别相同的、且与该一个地图要素匹配的地图要素；

位姿求解模块，用于根据所述至少一个第一地图要素匹配对，基于预设的位姿求解模型，以预设地面高度和预设车道中心线为模型的约束条件，确定出所述众包图像对应的当前位姿；

所述获取采集节点采集的众包图像对应的第一地图数据，包括：

获取众包图像中每个像素所属的地图要素的类别和每个像素对应的像素坐标；所述地图要素的类别包括点要素的类别和线要素的类别，所述点要素的类别至少包括道路标识牌、信号指示牌，所述线要素的类别至少包括车道线、人行横道、隔离带、杆；

针对每个地图要素的类别，根据该地图要素的类别对应的所有像素的像素坐标，确定出该地图要素的类别对应的地图要素的轮廓；

根据该地图要素的类别对应的地图要素的轮廓，确定出该地图要素的类别对应的所有有效的地图要素。

10.根据权利要求9所述的图像处理系统，其中，所述第二获取模块具体用于根据所述采集节点所在的位置，从预设的高精地图要素数据库中查询出该位置对应的第二地图数据。

11.根据权利要求9所述的图像处理系统，其中，还包括判断模块；

所述判断模块用于判断所述第一地图数据中是否包含预设类别的地图要素；若判断出所述第一地图数据中包含预设类别的地图要素时，触发所述第二获取模块执行获取采集所述众包图像时所述采集节点所在的位置对应的第二地图数据的步骤。

12.根据权利要求11所述的图像处理系统，其中，还包括相似帧检测模块和帧间匹配模块；

所述相似帧检测模块用于在所述判断模块判断出所述第一地图数据中不包含预设类别的地图要素时，将预设图像位姿数据库中的具有预设类别的地图要素的图像与所述众包图像进行相似帧检测，确定出众包图像对应的参考图像，所述参考图像为预设图像位姿数据库中与所述众包图像相似且具有预设类别的地图要素的图像；

所述帧间匹配模块用于采用预设的帧间匹配方法，确定出所述参考图像和所述众包图像之间的相对位姿；

所述位姿求解模块还用于根据预设图像位姿数据库中参考图像的位姿，以及所述参考图像和所述众包图像之间的相对位姿，确定出所述众包图像对应的当前位姿。

13.根据权利要求9所述的图像处理系统，其中，所述第一匹配对确定模块具体用于：

针对第一地图数据中的每个地图要素，确定出该地图要素的类别；

针对第一地图数据中的每个地图要素，将该地图要素与第二地图数据中类别与该地图要素相同的各地图要素一一进行匹配；

针对第一地图数据中的每个地图要素，将第二地图数据中类别与该地图要素相同的所有地图要素中与该地图要素匹配的地图要素，确定为所述第一地图要素匹配对。

14.根据权利要求13所述的图像处理系统，其中，所述第一匹配对确定模块具体用于：

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第二地图数据中的每个地图要素，计算该地图要素对应的尺度信息；

针对第一地图数据中的每个地图要素，计算该地图要素对应的尺度信息与第二地图数据中类别与该地图要素相同的各地图要素分别对应的尺度信息之间的差值；

针对每个所述差值，判断该差值是否小于或等于预设阈值；

针对每个所述差值，若判断出该差值小于或等于预设阈值时，则将该差值对应的两个地图要素确定为互相匹配的地图要素。

15.根据权利要求9所述的图像处理系统，其中，所述位姿求解模块具体用于：针对每个第一地图要素匹配对，以所述众包图像对应的位姿为优化变量，以预设地面高度和预设车道中心线为约束条件，以最小化重投影误差为目标函数进行优化，采用预设算法进行迭代求解，得到所述众包图像对应的当前位姿。

16.根据权利要求15所述的图像处理系统，其中，还包括位姿优化模块；

所述位姿优化模块用于根据所述众包图像对应的当前位姿，将所述第二地图数据中的所有地图要素投影至所述众包图像上，确定出至少一个第二地图要素匹配对；

根据所述至少一个第一地图要素匹配对和所述第二地图要素匹配对，基于预设的位姿求解模型，更新所述众包图像对应的当前位姿。

17.一种服务器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-8中任一所述的图像处理方法。

18.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被执行时实现如权利要求1-8中任一所述的图像处理方法。

Images