CN116630601A - 基于椭圆检测框的圆形路牌数据生成方法及装置 - Google Patents

Abstract

本申请涉及一种基于椭圆检测框的圆形路牌数据生成方法及装置。该方法包括：获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；识别椭圆检测框的特征点，计算特征点的匹配程度；根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于三维坐标点计算圆形路牌的深度信息；根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。本申请能够提高圆形路牌生成路牌数据的精度。

Description

基于椭圆检测框的圆形路牌数据生成方法及装置

技术领域

本申请涉及图像识别领域，尤其涉及基于椭圆检测框的圆形路牌数据生成方法及装置。

背景技术

现在技术中对路牌检测大致采用如下两种方法：

第一种是利用人工在激光点云数据查找路牌的确切位置。但该方案由于依赖于人工进行路牌位置的复检，人工成本很高，而且道路采集车在采集道路录像时也容易丢失或遗漏路牌数据，如果丢失或遗漏数据就可能不会再在激光点云数据中得到。

第二种是通过道路采集车进行路牌检测，这种方法先通过道路采集车上安装的道路摄像仪采集道路录像，然后在进行路牌数据制作时，利用目标检测框的四个交点，作为俩帧间的圆牌虚拟角点进行匹配，之后通过三角化解算出坐标。但因检测框并非物体本身的实际角点，解算出的坐标点误差会较大。

因此，亟需提供一种检测精度高且效率高的圆形路牌数据生成方法及装置。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种基于椭圆检测框的圆形路牌数据生成方法及装置，提高圆形路牌生成路牌数据的精度。

本申请第一方面一种基于椭圆检测框的圆形路牌数据生成方法，包括：

获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；

识别椭圆检测框的特征点，计算特征点的匹配程度；

根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于三维坐标点计算圆形路牌的深度信息_；

根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。

可选地，获取预设检测框包括：

获取圆形路牌样本数据，将圆形路牌样本数据输入初始椭圆检测网络，得到初始椭圆检测框；

计算初始椭圆检测框和圆形路牌样本数据的误差，根据误差对初始椭圆检测框的参数进行迭代拟合，误差收敛时得到预设检测框。

可选地，椭圆检测框的特征点包括：椭圆检测框的中心点、椭圆检测框的长轴端点及椭圆检测框的短轴端点。

可选地，识别椭圆检测框的特征点，包括：

建立图像坐标系，基于预设检测框，在同一图像中获取圆形路牌在预设检测框内的多个椭圆方程；

对多个椭圆方程进行拟合，得到圆形路牌的目标椭圆方程；

根据目标椭圆方程计算圆形路牌在同一图像的特征点。

可选地，计算每个特征点的匹配程度，包括：

获取每个特征点对应的描述子，描述子用于表示相同椭圆检测框中特征点之间的映射关系；

遍历圆形路牌检测框集合，选取任两个椭圆检测框，计算两个椭圆检测框中相同位置的特征点之间的描述子的相似度，根据相似度得到特征点的匹配结果。

可选地，计算通过验证的特征点在相机坐标系下的三维坐标点，基于三维坐标点计算圆形路牌的深度信息，包括：

剔除相似度不符合阈值的描述子对应的特征点，得到通过验证的特征点；

将通过验证的特征点转化为同一世界坐标系下的三维坐标，基于平面方程拟合三维坐标，得到圆形路牌的深度信息，路牌深度信息用于表示路牌到相机的距离。

可选地，基于平面方程拟合三维坐标，得到圆形路牌的深度信息，包括：

获取通过验证的特征点在归一化平面坐标系下的第一坐标；

根据相机的内外参数及第一坐标，计算第一坐标在车身坐标系下的第二坐标，基于平面方程拟合第二坐标，得到第三坐标；

获取拟合后的三维坐标，基于第三坐标和三维坐标，计算路牌深度信息。

本申请第二方面提供一种基于椭圆检测的圆形路牌数据生成装置，包括：

检测单元，用于获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；

第一计算单元，用于识别椭圆检测框的特征点，计算特征点的匹配程度；

第二计算单元，用于根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于三维坐标点计算圆形路牌的深度信息；

识别单元，用于根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。

本申请第三方面提供一种电子设备，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。

本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：第一方面，本申请利用低成本标记方式的获取圆牌的样本检测框数据，训练椭圆检测网络，实现圆牌的识别，得到预设检测框，从而实现高效的椭圆检测，本申请只在检测框局部范围内对圆牌进行边缘检测、椭圆拟合，可有效提高检测性能、检测成功率，获取圆牌物体本身的特征点。

第二方面，通过特征点计算每张圆形路牌的描述子，从而简化了圆牌的匹配过程。本申请通过描述子差异检测相同圆形路牌的不同描述子是否可以匹配，若低于阈值则抛弃描述子。根据符合条件的描述子计算圆形路牌的深度信息和目标检测框的四个角点，作为最终圆形路牌的坐标点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的基于椭圆检测框的圆形路牌数据生成方法的流程示意图；

图2是本申请实施例示出的椭圆检测框及特征点的示意图；

图3是本申请实施例示出的深度信息的示意图；

图4是本申请实施例示出的基于椭圆检测框的圆形路牌数据生成装置的结构示意图；

图5是本申请实施例示出的电子设备的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的名词进行介绍。

随着人工智能、自动驾驶等技术的发展，构建智慧交通也成了研究热点，而高精地图是智慧交通数据构建中必不可少的部分。高精地图能够通过详细的车道地图来表达现实世界中诸如车道线、行车停止线、人行横道线等地面特征要素以及路牌、红绿灯等高空特征要素，以便为自动驾驶等应用场景时的导航提供数据支撑。高精地图中路牌作为城市地理实体的信息承载载体，具备地名、路线、距离和方向等信息导航功能，同时作为分布于城市道路交叉口的基础设施，在空间上具有其特殊性，是城市基础物联网的良好载体。

现在技术中对路牌检测大致采用如下两种方法：

第一种是利用人工在激光点云数据查找路牌的确切位置。但该方案由于依赖于人工进行路牌位置的复检，人工成本很高，而且道路采集车在采集道路录像时也容易丢失或遗漏路牌数据，如果丢失或遗漏数据就可能不会再在激光光点云数据中得到。

第二种是通过道路采集车进行路牌检测，这种方法先通过道路采集车上安装的道路摄像仪采集道路录像，然后在进行路牌数据制作时,利用目标检测框的四个交点，作为俩帧间的圆牌虚拟角点进行匹配，之后通过三角化解算出坐标。但因检测框并非物体本身的实际焦点，解算出的坐标点误差会较大。

因此，亟需提供一种检测精度高且效率高的圆形路牌数据生成方法及装置。

针对上述问题，本申请实施例提供一种基于椭圆检测框的圆形路牌数据生成方法，提高SLAM地图中路牌的准确性。本申请实施例提供的方法可以应用于车机，也可以应用于其他具备计算和处理功能的设备，如计算机、电脑、手机等。这里以车机为例，相机和定位设备可以内置于车机，也可以设置于车机外，且与车机之间建立通信连接。

以下结合附图详细描述本申请实施例的技术方案。

参见图1，是本申请实施例示出的基于椭圆检测框的圆形路牌数据生成方法的流程示意图，主要包括步骤S101至步骤S103，说明如下：

步骤S101，获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框。

多帧图像是同一摄像装置在连续时间段内采集的图像，或者多帧图像是从同一车载摄像装置中抽帧生成的图像。该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中，摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的路牌进行视频录像，从而获得包含圆形路牌的连续的视频图像，以得到该步骤中的连续多帧道路图像。对车辆行驶中获取包含路牌的视频数据进行抽帧，通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，相邻两帧图像的时间间隔为抽帧时间间隔，从而获得拍摄的多张图像。相机在拍摄图像的同时，定位设备采集车辆或相机的地理位置信息，并一起传输给车机。根据图像的拍摄时间可以查找到同一时间定位设备获取的地理位置信息。可以理解的是，可以事先对相机和定位设备的时间进行同步处理，其目的是使拍摄的图像能够准确对应车辆或相机当时的位置。

在一种实施例中，方法还包括获取预设检测框，获取预设检测框包括：获取圆形路牌样本数据，将所述圆形路牌样本数据输入初始椭圆检测网络，得到初始椭圆检测框；计算所述初始椭圆检测框和圆形路牌样本数据的误差，根据误差对所述初始椭圆检测框的参数进行迭代拟合，直到所述误差收敛，得到所述预设检测框。

在本实施例中，圆形路牌的样本数据包括包含有圆形路牌的道路图像、圆形路牌对应的椭圆检测的椭圆方程的特征点(样本的特征点至少包括椭圆检测框的中心点、椭圆检测框的长轴端点及椭圆检测框的短轴端点5个点中的一个点，通常人工标注只标注其中的两个特征点)。向初始椭圆检测网络输入圆形路牌样本数据得到多个圆形检测框，对圆形检测框之间的误差进行计算，根据误差参数调整初始椭圆检测网络，在误差结果收敛的情况下，输出预设检测框。

由于圆形路牌样本数据的标注最多只包括5个特征点，极大地减少了圆形路牌样本数据的标注成本，本实施例通过对圆形路牌的低成本标注就可以训练处预设检测框，极大地节约了算力。

在本实施例中，获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框，包括：对圆形路牌图像外扩少量像素点后，基于预设检测框，对圆形路牌进行椭圆检测，进而拟合圆形路牌的外边界像素点，得到多个椭圆检测框，及多个椭圆检测框的特征点。

在步骤S101中，至少获取相同路牌的两张图像，至少从两张图像中获取两组对应的特征点，才能计算步骤S103中的深度信息。

步骤S102，识别所述多个椭圆检测框的特征点，计算特征点的匹配程度。

在一种实施例中，椭圆检测框的特征点包括：椭圆检测框的中心点、椭圆检测框的长轴端点及椭圆检测框的短轴端点这5个点。如图2所示，图2是本申请实施例示出的椭圆检测框及特征点的示意图，对于圆形路牌，它的特征点包括中心点O，其椭圆检测框的长轴端点C和D，短轴端点A和B。

在一种实施例中，步骤S102识别所述多个椭圆检测框的特征点包括：建立图像坐标系，基于所述预设检测框，在同一图像中获取圆形路牌所述预设检测框内的多个椭圆方程；对所述多个椭圆方程进行拟合，得到圆形路牌的目标椭圆方程；根据圆形路牌目标椭圆方程计算所述圆形路牌在同一图像的特征点。

在本实施例中，对于一张路牌图像，基于预设检测框对路牌图像进行检测，得到一个椭圆检测框，在椭圆检测框内对路牌图像进行边缘检测，得到多个椭圆方程，将多个椭圆方程进行拟合，得到路牌图像的目标椭圆方程。本实施例仅在预设检测框内对圆形路牌进行边缘检测椭圆拟合，有效提高了检测性能、提高了检测成功率。本实施例直接根据目标方程获取同一图像中的圆形路牌的特征点。

在步骤S102中，根据上述在预设检测框内计算圆形路牌特征点的步骤，遍历所有图像，得到所有图像中每个椭圆检测框的特征点。

在一种实施例中，计算特征点的匹配程度包括：获取每个特征点对应的描述子，所述描述子用于表示相同椭圆检测框中特征点之间的映射关系；遍历圆形路牌检测框集合，选取任两个椭圆检测框，计算两个椭圆检测框中相同位置的特征点之间的描述子的相似度，根据相似度得到所述特征点的匹配结果。

在本实施例中，描述子用于表示在相同椭圆检测框中特征点之间的映射关系。通过比较不同检测框中相同位置的特征点的描述子，得到不同检测框之间的相似度。

在一种实施例中，描述子用于描述不同椭圆检测框中相同位置特征点的映射关系。求出两张图片之间的对极约束关系，对极约束关系包括两张图片之间的平移矩阵和旋转矩阵。根据对极预设关系和相同位置特征点的映射关系，计算特征点的相似度。

步骤S103，根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于所述三维坐标点计算圆形路牌的深度信息。

在本实施例中，预设匹配结果为符合相似度阈值的特征点，本实施例需要计算特征点之间的相似度，并剔除不符合相似度阈值的特征点。

在一种实施例中，计算通过验证的特征点在相机坐标系下的三维坐标点包括：剔除相似度不符合阈值的描述子对应的特征点，得到通过验证的特征点；将所述通过验证的特征点转化为同一世界坐标系下的三维坐标，基于平面方程拟合所述三维坐标，得到圆形路牌的深度信息，所述路牌深度信息用于表示路牌到相机的距离。

在本实施例中，可以根据相机拍摄的内外参，以及相机在拍摄时的地理位置信息求取特征点在世界坐标系下的三维坐标。另外，可通过车载或者手机等配置的定位设备来采集车辆或相机的地理位置信息，其中，定位设备可以采用GPS(Global PositioningSystem，全球定位系统)、北斗、RTK(RealTimeKinematic，实时动态)等现有设备实现，本申请不作限定。车辆(或相机)的地理位置信息可以包括但不限于车辆(或相机)的地理坐标(如GPS坐标、经纬度坐标等)、方位、航向角、朝向等信息。

在一种实施例中，所述基于平面方程拟合所述三维坐标，得到圆形路牌的深度信息，包括：获取通过验证的特征点在归一化平面坐标系下的第一坐标；根据所述相机的内外参数及所述第一坐标，计算所述第一坐标在车身坐标系下的第二坐标，基于平面方程拟合所述第二坐标，得到第三坐标；获取所述拟合后的三维坐标，基于所述第三坐标和所述三维坐标，计算所述路牌深度信息。

根据建立相机坐标系、归一化平面坐标系和车坐标系，利用针孔相机投影原理及相机高度计算法计算出每一像素坐标点在相机坐标系下的深度信息d。如图3所示，图3中A点经过针孔相机投影后在成像平面的投影为A′点，O点为相机的光心，在已知相机焦距f以及A点高度H的情况下，根据相机高度计算法(即相似三角形计理论)，我们就可以求得A点的深度信息d(即A点与相机之间的距离)＝f*y/H，按照上述方式，就可以求得每一像素坐标点在相机坐标系下的深度信息d。

在本实施例中，获取不同椭圆检测框内相同位置的一对特征点，根据这对特征点的二维坐标及其三维坐标，可以求出其深度信息d。

步骤S104，根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。

在本实施例中，通过验证的特征点为圆形路牌在二维坐标中的像素坐标；根据通过验证的特征点，计算圆形路牌在椭圆检测框中的四个角点的二维坐标；根据四个角点的二维坐标和深度信息，计算四个角点在车身坐标系下的坐标；获取车辆的实时地理位置，根据车辆的实时位置和四个角点在车身坐标系下的坐标，得到圆形路牌的地理坐标。可选地，目标圆形路牌数据除了圆形路牌的地理坐标还包括根据通过验证的特征点计算的四个角点的二维坐标。

具体地，在本实施例中，在获取通过验证的特征点后，建立相机坐标系，归一化平面坐标系和车坐标系。通过相机内参及归一化处理计算得到每一像素坐标点在归一化平面坐标系下的归一化坐标点；由于通过验证的特征点为椭圆检测框中四个角点中的至少两个，根据椭圆方程和通过验证的特征点可以计算椭圆检测框的四个角点。根据深度信息计算得到四个角点在相机坐标系下的相机坐标点；通过相机外参将每一相机坐标点转换成在车坐标系下的三维坐标点。

在本实施例中，求出深度信息d后，进一步把每一像素坐标点转换成车坐标点，还是以像素坐标点(u，v)为例进行说明。获取相机的内参(fx，fy，cx，cy)，并通过归一化处理，得到像素坐标点在归一化坐标系下的归一化坐标点(x，y，1)：x＝(u-cx)/fx,y＝(v-c y)/fy，z＝1，把归一化坐标点(x，y，1)与其对应的深度信息d相乘可以得到在相机坐标系下的相机坐标点Pc(Xc，Yc，Zc)T：Xc＝(u-cx)d/fx,Yc＝(v-c y)d/fy，Zc＝d，随后获取相机的外参R和外参t(外参R为旋转矩阵，外参t为平移变量)，此时就可以把相机坐标点Pc转换成在车坐标系下的三维坐标点Pw(Xw，Yw，Zw)T：Pw＝R*Pc+t。按照上述方式，就可以把像素坐标点转换成车身坐标系下的三维坐标点。但要强调的是，需要把每个角点都转换成在车坐标系下的三维坐标点。

在一种实施例中，步骤S101到步骤S104的深度信息和预设检测框可以用于识别相同行驶过程中，其余路牌的路牌数据。具体包括：获取未生成路牌数据的待采集圆形路牌图像，根据所述预设检测框识别待采集圆形路牌，生成未采集圆形路牌的椭圆检测框的四个角点，根据四个角点和所述深度信息生成未采集圆形路牌的目标圆形路牌数据，该目标圆形路牌数据至少包括车辆的地理位置坐标。可选地，根据四个角点和深度信息获取四个角点在车辆坐标系中的坐标，然后根据车辆的实时坐标可以计算出路牌四个角点的经纬度坐标。

图4是本申请实施例示出的基于椭圆检测框的圆形路牌数据生成装置的结构示意图。为了便于说明，仅是示出了与本申请实施例相关的部分。图2示例装置主要包括检测单元401、第一计算单元402、第二计算单元403、识别单元404，其中：

检测单元401，用于获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；

第一计算单元402，用于识别所述椭圆检测框的特征点，计算特征点的匹配程度；

第二计算单元403，用于根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于所述三维坐标点计算圆形路牌的深度信息；

识别单元404，用于根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。

在一种实施例中，获取预设检测框包括：获取圆形路牌样本数据，将圆形路牌样本数据输入初始椭圆检测网络，得到初始椭圆检测框；计算初始椭圆检测框和圆形路牌样本数据的误差，根据误差对初始椭圆检测框的参数进行迭代拟合，误差收敛时得到预设检测框。

在一种实施例中，椭圆检测框的特征点包括：椭圆检测框的中心点、椭圆检测框的长轴端点及椭圆检测框的短轴端点。

在一种实施例中，识别椭圆检测框的特征点，包括：建立图像坐标系，基于预设检测框，在同一图像中获取圆形路牌在预设检测框内的多个椭圆方程；对多个椭圆方程进行拟合，得到圆形路牌的目标椭圆方程；根据目标椭圆方程计算圆形路牌在同一图像的特征点。

在一种实施例中，计算每个特征点的匹配程度，包括：获取每个特征点对应的描述子，描述子用于表示相同椭圆检测框中特征点之间的映射关系；遍历圆形路牌检测框集合，选取任两个椭圆检测框，计算两个椭圆检测框中相同位置的特征点之间的描述子的相似度，根据相似度得到特征点的匹配结果。

在一种实施例中，计算通过验证的特征点在相机坐标系下的三维坐标点，基于三维坐标点计算圆形路牌的深度信息，包括：剔除相似度不符合阈值的描述子对应的特征点，得到通过验证的特征点；将通过验证的特征点转化为同一世界坐标系下的三维坐标，基于平面方程拟合三维坐标，得到圆形路牌的深度信息，路牌深度信息用于表示路牌到相机的距离。

在一种实施例中，基于平面方程拟合三维坐标，得到圆形路牌的深度信息，包括：获取通过验证的特征点在归一化平面坐标系下的第一坐标；根据相机的内外参数及第一坐标，计算第一坐标在车身坐标系下的第二坐标，基于平面方程拟合第二坐标，得到第三坐标；获取拟合后的三维坐标，基于第三坐标和三维坐标，计算路牌深度信息。

本申请提供的技术方案可以包括以下有益效果：第一方面，本申请利用低成本标记方式的获取圆牌的样本检测框数据，训练椭圆检测网络，实现圆牌的识别，得到预设检测框，从而实现高效的椭圆检测，本申请只在检测框局部范围内对圆牌进行边缘检测、椭圆拟合，可有效提高检测性能、检测成功率，获取圆牌物体本身的特征点。

第二方面，通过特征点计算每张圆形路牌的描述子，从而简化了圆牌的匹配过程。本申请通过描述子差异检测相同圆形路牌的不同描述子是否可以匹配，若低于阈值则抛弃描述子。根据符合条件的描述子计算圆形路牌的深度信息和目标检测框的四个角点，作为最终圆形路牌的坐标点。

参见图5，是本申请实施例示出的电子设备的结构示意图。电子设备500包括存储器510和处理器520。

处理器520可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器510可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器520或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器510可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器510可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器510上存储有可执行代码，当可执行代码被处理器520处理时，可以使处理器520执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被车辆(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于椭圆检测框的圆形路牌数据生成方法，其特征在于，包括：

获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；

识别所述椭圆检测框的特征点，计算特征点的匹配程度；

根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于所述三维坐标点计算圆形路牌的深度信息；

根据所述深度信息和所述通过验证的特征点，生成所述圆形路牌的目标圆形路牌数据，所述目标圆形路牌数据至少包括圆形路牌的地理坐标。

2.根据权利要求1所述的方法，其特征在于，所述获取预设检测框包括：

获取圆形路牌样本数据，将所述圆形路牌样本数据输入初始椭圆检测网络，得到初始椭圆检测框；

计算所述初始椭圆检测框和圆形路牌样本数据的误差，根据误差对所述初始椭圆检测框的参数进行迭代拟合，所述误差收敛时得到所述预设检测框。

3.根据权利要求1所述的方法，其特征在于，所述椭圆检测框的特征点包括：椭圆检测框的中心点、椭圆检测框的长轴端点及椭圆检测框的短轴端点。

4.根据权利要求3所述的方法，其特征在于，所述识别所述椭圆检测框的特征点，包括：

建立图像坐标系，基于所述预设检测框，在同一图像中获取圆形路牌在所述预设检测框内的多个椭圆方程；

对所述多个椭圆方程进行拟合，得到圆形路牌的目标椭圆方程；

根据目标椭圆方程计算所述圆形路牌在同一图像的特征点。

5.根据权利要求1所述的方法，其特征在于，所述计算每个特征点的匹配程度，包括：

获取每个特征点对应的描述子，所述描述子用于表示相同椭圆检测框中特征点之间的映射关系；

遍历圆形路牌检测框集合，选取任两个椭圆检测框，计算两个椭圆检测框中相同位置的特征点之间的描述子的相似度，根据相似度得到所述特征点的匹配结果。

6.根据权利要求5所述的方法，其特征在于，所述计算通过验证的特征点在相机坐标系下的三维坐标点，基于所述三维坐标点计算圆形路牌的深度信息，包括：

剔除相似度不符合阈值的描述子对应的特征点，得到通过验证的特征点；

将所述通过验证的特征点转化为同一世界坐标系下的三维坐标，基于平面方程拟合所述三维坐标，得到圆形路牌的深度信息，所述路牌深度信息用于表示路牌到相机的距离。

7.根据权利要求6所述的方法，其特征在于，所述基于平面方程拟合所述三维坐标，得到圆形路牌的深度信息，包括：

获取通过验证的特征点在归一化平面坐标系下的第一坐标；

根据所述相机的内外参数及所述第一坐标，计算所述第一坐标在车身坐标系下的第二坐标，基于平面方程拟合所述第二坐标，得到第三坐标；

获取所述拟合后的三维坐标，基于所述第三坐标和所述三维坐标，计算所述路牌深度信息。

8.一种基于椭圆检测的圆形路牌数据生成装置，其特征在于，包括：

检测单元，用于获取预设检测框，基于预设检测框对同一圆形路牌的多帧图像进行椭圆检测，得到相同圆形路牌的多个椭圆检测框；

第一计算单元，用于识别所述椭圆检测框的特征点，计算特征点的匹配程度；

第二计算单元，用于根据预设匹配结果验证特征点，计算通过验证的特征点在相机坐标系下的三维坐标点，基于所述三维坐标点计算圆形路牌的深度信息；

识别单元，用于根据深度信息和通过验证的特征点，生成圆形路牌的目标圆形路牌数据，目标圆形路牌数据至少包括圆形路牌的地理坐标。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。