CN116310461A - 基于空间聚类的路牌生成方法及装置 - Google Patents
基于空间聚类的路牌生成方法及装置 Download PDFInfo
- Publication number
- CN116310461A CN116310461A CN202310443551.4A CN202310443551A CN116310461A CN 116310461 A CN116310461 A CN 116310461A CN 202310443551 A CN202310443551 A CN 202310443551A CN 116310461 A CN116310461 A CN 116310461A
- Authority
- CN
- China
- Prior art keywords
- guideboard
- points
- clustering
- corner
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000002085 persistent effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000540325 Prays epsilon Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于空间聚类的路牌生成方法及装置。该方法包括：获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点；基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；将路牌角点的像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点的三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。本申请可以提高路牌生成结果的精度。
Description
技术领域
本申请涉及地图图像处理领域，尤其涉及基于空间聚类的路牌生成方法及装置。
背景技术
在自动驾驶领域，单目视觉同步定位与地图创建（Simultaneous Localizationand Mapping，slam）是指自动驾驶车辆利用单个视觉传感器（如摄像头）创建一个与真实环境相一致的地图，并同时确定自身在地图中的位置。
在现有技术，创建slam地图至少需要两张图片，才能解算图片的三维信息。然而，单个视觉传感器测量得到的图像数据只能提供物体间相对的距离关系，不能提供这些物体真实的三维空间信息。但是如果只使用两张图片作为slam地图的解算集，精度误差会比较大（视觉精度导致的）为了解决精度问题，常规会使用多张图片来解算。常规使用多张图片的方法是，对多帧结果进行平均化处理，虽然也可以起到抑制单帧波动效果，但因没有对外点进行剔除，所以错误数据还是会包含在结果中，使得结果不准确。
因此，在slam地图的路牌生成过程中，存在路牌生成结果的精度较低的问题。
发明内容
为解决或部分解决相关技术中存在的问题，本申请提供一种基于空间聚类的路牌生成方法及装置，在slam地图的路牌生成过程中，提高路牌生成结果的精度。
本申请第一方面一种基于空间聚类的路牌生成方法，包括：
获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点；
基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；
将路牌角点像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；
对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；
基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。
可选地，获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点，包括：
对连续多帧道路图像进行预处理，获取连续多帧道路图片的路牌像素在相机坐标系下的第一坐标点；
获取相机坐标系和世界坐标系的第一映射关系，根据第一坐标点和第一映射关系，生成第一坐标点在slam地图下的特征点。
可选地，获取相机坐标系和世界坐标系的第一映射关系，包括：
获取车载相机的位姿序列，基于连续多帧道路图像的移动距离和位姿序列，生成第一映射关系。
可选地，基于预设聚类算法对所特征点进行聚类，包括：
基于预设聚类算法对特征点进行聚类，得到至少三组聚类结果；
和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的特征点。
可选地，基于预设聚类算法对特征点进行聚类，包括：
按照从高到低的像素阈值，基于DBSCAN算法对所有特征点进行聚类。
可选地，选取符合预设条件的聚类结果进行三维平面拟合，包括：
获取聚类结果的质量评分，质量评分用于表示聚类结果还原路牌图像的质量；
选取质量评分最高的聚类结果的特征点，进行三维平面拟合。
可选地，基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标，包括：
基于路牌角点在路牌四角位置和预设路牌角点顺序，将路牌角点进行分类；
求取每类路牌角点的三维坐标的平均值，得到候选角点的三维坐标点；
基于预设路牌角点顺序，将候选角点投影到第二三维平面方程。
本申请第二方面，提供一种基于空间聚类的路牌生成装置，包括：
获取单元，用于获取连续多帧道路图像，生成多帧道路图像的路牌在相同相机坐标系下的特征点；
聚类单元，用于基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；
投影单元，用于将路牌角点像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；
拟合单元，用于对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；
求解单元，用于基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：本申请涉及一种基于空间聚类的路牌生成方法及装置。该方法包括：获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点；基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；获取每帧道路图像的路牌角点的像素点，将路牌角点像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。本申请通过聚类方法剔除多帧道路图像中路牌像素点的误差点，提升了生成路牌图像的准确性，同时通过两次三维平面拟合方程，使得最终的拟合结果与现实更接近。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的基于空间聚类的路牌生成方法的流程示意图；
图2是本申请实施例示出的基于空间聚类的路牌生成装置的结构示意图；
图3是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了便于本领域技术人员更好地理解本申请的技术方案，下面对本申请涉及的名词进行介绍。
slam地图，(Simultaneous Localizationand Mapping，slam）是指自动驾驶车辆利用单个视觉传感器（如摄像头）创建一个与真实环境相一致的地图，并同时确定自身在地图中的位置。聚类算法，聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。DBSCAN算法（Density-Based Spatial Clustering of Application with Noise），是一种基于密度的聚类算法。与划分和层次聚类算法不同，它将簇定义为密度相连的点的最大集合，把具有足够高密度的区域划分成簇，并可在具有噪声的空间数据库中发现任意形状的聚类。有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。主要通过确认两个参数：epsilon：在一个点周围邻近区域的半径，minPts：邻近区域内至少包含点的个数。任意选择一个点（既没有指定到一个类也没有特定为外围点），计算它的NBHD(p.epsilon）判断是否为核点。如果是，在该点周围建立一个类，否则，设定为外围点。遍历其他点，直到建立一个类。把directly-reachable的点加入类中，接着把density-reachable的点也加进来。如果标记为外围的点被加进来，修改状态为边缘点。重复步骤1和2，直到所有的点满足在类中（核点或边缘点）或者为外围点。利用轮廓函数对算法进行评估，得出最优参数。在自动驾驶领域，单目视觉同步定位与地图创建（Simultaneous Localization and Mapping，slam）是指自动驾驶车辆利用单个视觉传感器（如摄像头）创建一个与真实环境相一致的地图，并同时确定自身在地图中的位置。
在现有技术，创建slam地图至少需要两张图片，才能解算图片的三维信息。然而，单个视觉传感器测量得到的图像数据只能提供物体间相对的距离关系，不能提供这些物体真实的三维空间信息。但是如果只使用两张图片作为slam地图的解算集，精度误差会比较大（视觉精度导致的）为了解决精度问题，常规会使用多张图片来解算。常规使用多张图片的方法是，对多帧结果进行平均化处理，虽然也可以起到抑制单帧波动效果，但因没有对外点进行剔除，所以错误数据还是会包含在结果中，使得结果不准确。
因此，在slam地图进行车辆定位时，存在定位精度较低的问题。
针对上述问题，本申请实施例提供一种基于空间聚类的路牌生成方法，提高slam地图中路牌的准确性。
以下结合附图详细描述本申请实施例的技术方案。
参见图1，是本申请实施例示出的基于空间聚类的路牌生成方法的流程示意图，主要包括步骤S101至步骤S104，说明如下：
步骤S101，获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点。
多帧道路图像是同一摄像装置在连续时间段内采集的图像，或者多帧道路图像是从同一车载相机中抽帧生成的图像。该摄像装置可以包括但不限于安装于车辆上的行车记录仪、摄像头或司机的手机等具有摄像功能的装置。其中，摄像装置可以为单目摄像装置。摄像装置可以设置于车辆的首部以对车辆前方的路牌进行视频录像，从而获得包含路牌的连续的视频图像，以得到该步骤中的连续多帧道路图像。对车辆行驶中获取包含路牌的视频数据进行抽帧，通常，视频的帧率为每秒30帧，可以按照预置的规则对视频进行抽帧，例如，每秒抽10帧、15帧、20帧或其他值，相邻两帧图像的时间间隔为抽帧时间间隔，从而获得拍摄的多张图像。
在本实施例中，路牌为方形路牌，在道路图像中路牌通常为多边形。
步骤S101需要将多帧道路图像间旋转矩阵和平移向量后，将多帧道路图像的路牌像素点统一到相同坐标系下，便于将所有路牌像素点集中同一坐标系下进行聚类。
在一种实施例中，获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点，包括：对连续多帧道路图像进行预处理，获取连续多帧道路图片的路牌像素在相机坐标系下的第一坐标点；获取相机坐标系和世界坐标系的第一映射关系，根据第一坐标点和第一映射关系，生成第一坐标点在slam地图下的特征点。
在本实施例中，对多帧道路图像进行预处理包括：获取满足预设条件的道路图像，对道路图像二值化处理，识别路牌的像素点。识别路牌的像素点可以根据路牌的方形成像特点，提取路牌的像素点。其中，满足预设条件的道路图像是用于判断采集的道路图像的清晰度。
在本实施例中，需要根据第一映射关系将道路图像统一在相同坐标系中。在一种实施例中，获取相机坐标系和世界坐标系的第一映射关系，包括：获取车载相机的位姿序列，基于连续多帧道路图像的移动距离和位姿序列，生成第一映射关系。
在本实施例中，基于连续多帧道路图像的移动距离和位姿序列还原像素坐标的像素深度，从而获取路牌像素在slam地图上的三维点。
在一些实施例中，可以将连续多帧道路图像的任意一帧道路图像的坐标系设置为相机坐标系。
在一种实施例中，可以将连续多帧道路图像的最后一帧道路图像的坐标系设置为相机坐标系，得到第一坐标点，然后基于最后一帧道路图像和车载相机的内外参数，获取同一相机坐标系和世界坐标系的第一映射关系，根据第一映射关系和第一坐标，获取路牌像素在slam地图上的三维点。
步骤S102，基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程。
步骤S102通过聚类方法，剔除特征点中波动比较大的点，只保留高置信结果，提高平面结果精度，同时采用预设聚类算法，设置多级/动态阈值，提高算法鲁棒性。
在一种实施例中，基于预设聚类算法对所特征点进行聚类，包括：基于预设聚类算法对特征点进行聚类，得到至少三组聚类结果；和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的特征点。
在本实施例中，在聚类过程中产生三个以上的距离结果就停止聚类，选聚类结果中，聚类特征点最多的结果为符合预设条件的聚类结果。在得到两个聚类结果时，则对两组聚类结果进行打分，选取打分结果较好的聚类结果为最终聚类结果。
在一种实施例中，基于预设聚类算法对特征点进行聚类，包括：按照从高到低的像素阈值，基于DBSCAN算法对所有特征点进行聚类。具体包括：
首先，考虑类内不平衡少数类样本分布密度不均匀的情况，能够得到一组关于特征点集合的基于分布密度的EPS值（
，用来描述邻域的样本分布紧密程度）；然后，将这些通过计算得到的每个少数类样本点的平均距离组成一个距离向量数组，将这些平均距离作为原始数据集，在这个数据集上通过进行距离上的聚类；在将这个距离数组聚类成N个簇之后，计算每个簇中的所有距离加和取平均，将得到的这个平均值作为这个簇的邻域阈值，通过分别计算这N个簇的平均值，可以得到N个邻域阈值EPSi，i＝1,2,...,N；接下来，将这N个领域阈值进行从小到大的顺序排序并保存在一个数组中；在接下来的聚类算法中，首先选择阈值数组中最小的那一个，当作DBSCAN算法的EPS值，然后对所有少数类样本进行聚类，接着采用阈值数组中下一个阈值对标记为噪声样本点的少数类样本继续进行DBSCAN聚类，同样得到一些聚类簇和剩余的噪声样本点。最后，重复以上的操作，当对所有少数类样本的通过不同的EPS值进行聚类过后，则完成少数类样本的所有聚类操作，那些最后都不被归为在任何一个簇的数据即为噪声数据。
在本实施例中，按每组特征点数量，从大到小排序后遍历，遍历累加的特征点数量大于50%，或遍历分组数大于3时，停止遍历。在本实施例中，符合预设条件的聚类结果为遍历分组大于3时特征点最多的组，或直接选取特征点数量大于50%的特征点的聚类结果作为符合预设条件的聚类结果。
在一种实施例中，选取符合预设条件的聚类结果进行三维平面拟合，包括：获取聚类结果的质量评分，质量评分用于表示聚类结果还原路牌图像的质量；选取质量评分最高的聚类结果的特征点，进行三维平面拟合。
在本实施例中，聚类结果的质量评分分数与聚类特征点的质量正相关。获取质量评分可以是根据路牌的成像特点对聚类结果进行评估。也可以是将路牌的距离结果还原至路牌图像，根据路牌图像的还原度进行打分。可选地，也可以通过从聚类结果中选取特征点，并计算特征点之间的相似度，相似度越高的特征点对应的聚类结果的质量评分分数越高。
本实施例中的，选取质量评分最高的聚类结果的特征点，进行三维平面拟合，包括：将聚类结果中所有的像素点代入三维平面方程进行求解，得到最后的拟合方程第一三维平面方程。
步骤S103，将路牌角点像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点。
在本实施例中，在步骤S103之前，需要获取每帧道路图像的路牌角点的像素点。本实施例获取相机坐标系原点O到第一三维平面方程的第一向量，根据第一向量和上述路牌角点像素的第一坐标，得到路牌角点像素点的在第一三维平面方程上的投影点。
步骤S104，对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程。
步骤S104，将路牌角点的三维坐标点代入三维平面方程进行求解，得到最后的拟合方程第二三维平面方程。第二三维平面是为了进一步论证三维坐标点的可靠性。
步骤S105，基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。
在步骤S105中，按角点顺序进行数值平均处理，再把平均坐标投影到上述第二三维平面方程中，作为最终的路牌角点坐标点。
在一种实施例中，基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标，包括：基于路牌角点在路牌四角位置和预设路牌角点顺序，将路牌角点进行分类；求取每类路牌角点的三维坐标的平均值，得到候选角点的三维坐标点；基于预设路牌角点顺序，将候选角点投影到第二三维平面方程。其中，路牌角点的顺序包括：按照逆时针或顺时针顺序选取路牌的四个角点。
步骤S105，获取目标路牌角点坐标后，求取四个角点的中心点，将四个角点的中心点对应的世界系坐标，作为路牌的地图坐标存储在高精地图中。
与前述应用功能实现方法实施例相对应，本申请还提供了一种基于空间聚类的路牌生成装置、电子设备及相应的实施例。
图2是本申请实施例示出的基于空间聚类的路牌生成装置的结构示意图。为了便于说明，仅是示出了与本申请实施例相关的部分。图2示例装置主要包括获取单元201、聚类单元202、投影单元203、拟合单元204和求解单元205，其中：
获取单元201，用于获取连续多帧道路图像，生成多帧道路图像的路牌在相同相机坐标系下的特征点；
聚类单元202，用于基于预设聚类算法对所述特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；
投影单元203，用于将所述路牌角点像素点投影到所述第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；
拟合单元204，用于对所述路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；
求解单元205，用于基于预设路牌角点顺序，对所述路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将所述候选角点的三维坐标投影到所述第二三维平面方程上，得到目标路牌角点坐标。
在一种实施例中，获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点，包括：对连续多帧道路图像进行预处理，获取连续多帧道路图片的路牌像素在相机坐标系下的第一坐标点；获取相机坐标系和世界坐标系的第一映射关系，根据第一坐标点和第一映射关系，生成第一坐标点在slam地图下的特征点。
在一种实施例中，获取相机坐标系和世界坐标系的第一映射关系，包括：获取车载相机的位姿序列，基于连续多帧道路图像的移动距离和位姿序列，生成第一映射关系。
在一种实施例中，基于预设聚类算法对所特征点进行聚类，包括：基于预设聚类算法对特征点进行聚类，得到至少三组聚类结果；和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的特征点。
在一种实施例中，基于预设聚类算法对特征点进行聚类，包括：按照从高到低的像素阈值，基于DBSCAN算法对所有特征点进行聚类。
在一种实施例中，选取符合预设条件的聚类结果进行三维平面拟合，包括：获取聚类结果的质量评分，质量评分用于表示聚类结果还原路牌图像的质量；选取质量评分最高的聚类结果的特征点，进行三维平面拟合。
在一种实施例中，基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标，包括：基于路牌角点在路牌四角位置和预设路牌角点顺序，将路牌角点进行分类；求取每类路牌角点的三维坐标的平均值，得到候选角点的三维坐标点；基于预设路牌角点顺序，将候选角点投影到第二三维平面方程。
本申请提供的技术方案可以包括以下有益效果：本申请涉及一种基于空间聚类的路牌生成方法及装置。该方法包括：获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点；基于预设聚类算法对特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；获取每帧道路图像的路牌角点的像素点，将路牌角点像素点投影到第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；对路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；基于预设路牌角点顺序，对路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将候选角点的三维坐标投影到第二三维平面方程上，得到目标路牌角点坐标。本申请通过聚类方法剔除多帧道路图像中路牌像素点的误差点，提升了生成路牌图像的准确性，同时通过两次三维平面拟合方程，使得最终的拟合结果与现实更接近。
参见图3，是本申请实施例示出的电子设备的结构示意图。电子设备300包括存储器310和处理器320。
处理器320可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器 （Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列 （Field-Programmable Gate Array，FPGA） 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器310可以包括各种类型的存储单元，例如系统内存、只读存储器（ROM）和永久存储装置。其中，ROM可以存储处理器320或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器310可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器310可以包括可读和/或写的可移除的存储设备，例如激光唱片（CD）、只读数字多功能光盘（例如DVD-ROM，双层DVD-ROM）、只读蓝光光盘、超密度光盘、闪存卡（例如SD卡、min SD卡、Micro-SD卡等）、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器310上存储有可执行代码，当可执行代码被处理器320处理时，可以使处理器320执行上文述及的方法中的部分或全部。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种计算机可读存储介质（或非暂时性机器可读存储介质或机器可读存储介质），其上存储有可执行代码（或计算机程序或计算机指令代码），当可执行代码（或计算机程序或计算机指令代码）被车辆（或服务器等）的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种基于空间聚类的路牌生成方法，其特征在于，所述方法包括：
获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点；
基于预设聚类算法对所述特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；
将路牌角点的像素点投影到所述第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；
对所述路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；
基于预设路牌角点顺序，对所述路牌角点的三维坐标点平均处理，得到候选角点的三维坐标点，将所述候选角点的三维坐标投影到所述第二三维平面方程上，得到目标路牌角点坐标。
2.根据权利要求1所述的方法，其特征在于，所述获取连续多帧道路图像，生成多帧道路图像的路牌在相同坐标系下的特征点，包括：
对所述连续多帧道路图像进行预处理，获取连续多帧道路图像的路牌像素在相机坐标系下的第一坐标点；
获取相机坐标系和世界坐标系的第一映射关系，根据所述第一坐标点和所述第一映射关系，生成所述第一坐标点在slam地图下的特征点。
3.根据权利要求2所述的方法，其特征在于，所述获取相机坐标系和世界坐标系的第一映射关系，包括：
获取车载相机的位姿序列，基于所述连续多帧道路图像的移动距离和所述位姿序列，生成所述第一映射关系。
4.根据权利要求1所述的方法，其特征在于，所述基于预设聚类算法对所述特征点进行聚类，包括：
基于所述预设聚类算法对所述特征点进行聚类，得到至少三组聚类结果；
和/或得到两组聚类结果，其中至少一组聚类结果至少包括一半数量的特征点。
5.根据权利要求4所述的方法，其特征在于，所述基于所述预设聚类算法对所述特征点进行聚类，包括：
按照从高到低的像素阈值，基于DBSCAN算法对所述特征点进行聚类。
6.根据权利要求4所述的方法，其特征在于，所述选取符合预设条件的聚类结果进行三维平面拟合，包括：
获取聚类结果的质量评分，所述质量评分用于表示所述聚类结果还原路牌图像的质量；
选取质量评分最高的聚类结果的特征点，进行三维平面拟合。
7.根据权利要求1所述的方法，其特征在于，所述基于预设路牌角点顺序，对所述路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将所述候选角点的三维坐标投影到所述第二三维平面方程上，得到目标路牌角点坐标，包括：
基于所述路牌角点在路牌四角位置和所述预设路牌角点顺序，将所述路牌角点进行分类；
求取每类路牌角点的三维坐标的平均值，得到候选角点的三维坐标点；
基于所述预设路牌角点顺序，将所述候选角点的三维坐标投影到所述第二三维平面方程，得到目标路牌角度坐标。
8.一种基于空间聚类的路牌生成装置，其特征在于，所述装置包括：
获取单元，用于获取连续多帧道路图像，生成多帧道路图像的路牌在相同相机坐标系下的特征点；
聚类单元，用于基于预设聚类算法对所述特征点进行聚类，选取符合预设条件的聚类结果进行三维平面拟合，得到第一三维平面方程；
投影单元，用于将路牌角点像素点投影到所述第一三维平面方程，得到每帧道路图像的路牌角点的三维坐标点；
拟合单元，用于对所述路牌角点的三维坐标点进行三维平面拟合，得到第二三维平面方程；
求解单元，用于基于预设路牌角点顺序，对所述路牌角点的三维坐标点平均处理，得到候选角点三维坐标点，将所述候选角点的三维坐标投影到所述第二三维平面方程上，得到目标路牌角点坐标。
9.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310443551.4A CN116310461A (zh) | 2023-04-24 | 2023-04-24 | 基于空间聚类的路牌生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310443551.4A CN116310461A (zh) | 2023-04-24 | 2023-04-24 | 基于空间聚类的路牌生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116310461A true CN116310461A (zh) | 2023-06-23 |
Family
ID=86783544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310443551.4A Pending CN116310461A (zh) | 2023-04-24 | 2023-04-24 | 基于空间聚类的路牌生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310461A (zh) |
-
2023
- 2023-04-24 CN CN202310443551.4A patent/CN116310461A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210429B (zh) | 点云数据划分方法及装置、障碍物检测方法及装置 | |
| KR101532864B1 (ko) | 모바일 디바이스들에 대한 평면 맵핑 및 트래킹 | |
| CN111582054B (zh) | 点云数据处理方法及装置、障碍物检测方法及装置 | |
| CN111553946B (zh) | 用于去除地面点云的方法及装置、障碍物检测方法及装置 | |
| CN111928842B (zh) | 一种基于单目视觉实现slam定位的方法及相关装置 | |
| CN112037287B (zh) | 相机标定方法、电子设备及存储介质 | |
| CN112132754B (zh) | 一种车辆移动轨迹修正方法及相关装置 | |
| CN114782499A (zh) | 一种基于光流和视图几何约束的图像静态区域提取方法及装置 | |
| CN111783722B (zh) | 一种激光点云的车道线提取方法和电子设备 | |
| CN111928857B (zh) | 一种动态环境中实现slam定位的方法及相关装置 | |
| CN114187579A (zh) | 自动驾驶的目标检测方法、装置和计算机可读存储介质 | |
| CN114359665A (zh) | 全任务人脸识别模型的训练方法及装置、人脸识别方法 | |
| CN115131363A (zh) | 基于语义信息的定位方法、装置和终端设备 | |
| CN108647579B (zh) | 一种障碍物检测方法、装置及终端 | |
| CN117333518A (zh) | 激光扫描图像匹配方法、系统及计算机设备 | |
| CN116310461A (zh) | 基于空间聚类的路牌生成方法及装置 | |
| CN110555344B (zh) | 车道线识别方法、装置、电子设备、存储介质 | |
| CN111126286A (zh) | 车辆动态检测方法、装置、计算机设备及存储介质 | |
| CN112801077B (zh) | 用于自动驾驶车辆的slam初始化的方法及相关装置 | |
| CN111951254A (zh) | 基于边缘引导加权平均的源相机识别方法及系统 | |
| CN113465615A (zh) | 车道线的生成方法及相关装置 | |
| CN116469078A (zh) | 基于视觉激光的交通标志数据融合方法及装置 | |
| CN114018215B (zh) | 基于语义分割的单目测距方法、装置、设备及存储介质 | |
| WO2020197495A1 (en) | Method and system for feature matching | |
| CN115797896B (zh) | 车道线聚类方法、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |