CN106127153B - 车载激光扫描点云数据的交通标牌识别方法 - Google Patents

车载激光扫描点云数据的交通标牌识别方法 Download PDF

Info

Publication number
CN106127153B
CN106127153B CN201610467707.2A CN201610467707A CN106127153B CN 106127153 B CN106127153 B CN 106127153B CN 201610467707 A CN201610467707 A CN 201610467707A CN 106127153 B CN106127153 B CN 106127153B
Authority
CN
China
Prior art keywords
point
traffic sign
grid
point cloud
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610467707.2A
Other languages
English (en)
Other versions
CN106127153A (zh
Inventor
陈动
杜建丽
史玉峰
郑加柱
史晓云
杨强
王增利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Forestry University
Original Assignee
Nanjing Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Forestry University filed Critical Nanjing Forestry University
Priority to CN201610467707.2A priority Critical patent/CN106127153B/zh
Publication of CN106127153A publication Critical patent/CN106127153A/zh
Application granted granted Critical
Publication of CN106127153B publication Critical patent/CN106127153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Abstract

本发明提出一种车载激光扫描点云数据的交通标牌识别方法,该方法包括以下步骤:(一)点云实时预处理;(二)点云结构特征获取;(三)多尺度马尔科夫随机场点云聚类;(四)交通标牌识别。本发明的优点:强化了点云的“面状”、“线状”、“散乱状”特征,增强了点与点之间的差异性,在避免欠分割的同时,能够快速在交通标牌零部件尺度上合理分割;方便从地物遮挡或地物自遮挡造成的部分交通标牌缺失的点云数据中实现交通标牌的分类和识别;能有效满足当前对城市零部件的快速提取、监测和识别的要求,方便推广到基于计算机视觉的有人或无人导航和避障领域,辅助驾驶员在复杂路况下导航和决策,有效地降低交通事故发生概率。

Description

车载激光扫描点云数据的交通标牌识别方法
技术领域
本发明提出的是车载激光扫描点云数据的交通标牌识别方法,属于遥感科学技术领域。
背景技术
在2013年8月29日在京举行的“中国道路交通安全论坛”上,公安部副部长黄明指出,截至2012年底,中国机动车保有量2.4亿辆,机动车驾驶员2亿人,根据《国家公路网规划(2013-2030年)》,2030年末我国公路总里程将达580万公里左右,车辆增多、路况复杂致使交通事故发生频次与日俱增,给我国公民生命财产安全带来巨大威胁,亟需建立完善交通安全管理体制,智能交通系统(Intelligent Transportation System, ITS)就是提高车辆智能、改善交通状况的有效方法之一。
ITS 是上个世纪90年代兴起的新一代智能交通系统,它将先进的信息处理技术、导航定位技术、数据通讯技术、物联网技术、计算机网络技术等有效地综合应用于整个交通管理系统,通过加强道路、车辆、驾驶员和管理员之间的联系,实现车辆行驶的“智能化”和道路交通的“自动化”,虽然ITS在一定程度上发挥了智能感知、导航的作用,但是该系统整合的技术较多,尤其是基于视觉的车辆感知技术,往往需多视角光学影像生成三维深度图以辅助车辆分析周围环境,这往往会导致计算量大、耗时且易受到诸如天气、光线等外在因素影响,另外,利用ITS进行智能导航、感知和理解周围环境时,通常过度依靠GNSS(GlobalNavigation Satellite System, GNSS)和其他基础GIS(Geographic InformationSystem, GIS)数据源,这常常导致以下缺陷:① 实际道路交通标牌零部件数据库与当前车辆GNSS位置时常存在不匹配的现象,传统的市政交通路标、交通指示牌等零部件大多是通过RTK(Real-time kinematic, RTK)或全站仪等传统测量设备获取,其更新频率较低,毁坏、拆除或新建的交通标牌不能实时同步到数据库中,因此进行实时导航时,车辆当前位置与其周围环境中交通设施往往不同步,进而影响实时导航的效率和用户体验;② 当车辆位于高楼耸立的城区或大型商业建筑物内部时(譬如地下停车场),往往会造成GNSS信号失锁,甚至完全失效,此时基于视觉导航就变得十分重要;③ 在高精度动态导航时,GNSS精度将不能满足要求,如巡航导弹对目标精准打击时,最后的精准定位大多都是基于视觉、激光、红外等信息判别目标位置;④ 在某些情况下,单纯利用GNSS导航会变得不现实,如2013年12月2日中国发射的“嫦娥三号”卫星所携带的巡视探测器—玉兔号月球车,其在月球表面进行探测时,GNSS的导航便失去作用,此时需要借助计算机视觉,认知周围地形场景,实现月球车的最优路径选择。
因此,要使得智能交通系统ITS更为智能,除了与GNSS、物联网技术、网络通讯技术进行有效结合外,还应赋予车辆更多的智能,令其能够理解自身所处的环境场景,尤其在高速公路和城区主干道环境中,以交通指示牌、电线杆、交通信号灯、公交路牌、路灯等为标识的杆状物尤为常见,它们突显于周围环境,容易被观察者识别,因此经常被作为路标,用于辅助驾驶和导航,对该类路牌路标的快速识别,需要结合计算机视觉技术,利用车辆配备的车载激光雷达扫描系统MLS,实时从三维激光点云中感知物体的位置和空间几何结构信息,提取对交通导航有帮助的交通标牌等杆状物,以期突破利用传统多角度光学影像提取交通标牌时易受天气、光线条件、遮挡等不利因素的制约。
交通标牌在几何特征上属于杆状物体,传统的基于光学影像的杆状地物提取方法需要良好的光照条件,不能全天候作业,并且很难提供目标精确的三维几何信息,MLS系统在获取空间信息方面提供了一种全新的技术手段,能够在高速移动状态下获取道路及其两侧建筑物、树木、交通标牌、路灯等地物的三维空间坐标,弥补了传统光学影像数据采集手段的不足,已被广泛运用于数字城市、基础测绘、城市规划、交通、环保等领域,研究基于MLS点云的杆状地物自动提取技术,辅助城市基础设施部件探测和智能车辆导航已成为当前的研究热点。
学者Brenner利用“圆柱算法”提取城区环境中的杆状目标,用于汽车辅助驾驶和道路基础设施建库。该类方法根据落入内圆柱和外圆柱内的点数比值来识别杆状地物,“圆柱算法”对外圆柱半径、内外圆柱点数比值等阈值较敏感,并且该方法在杆状物体上有附属结构或杆状物体周围附着有其它物体时容易导致检测失败;学者Golovinskiy 等提出一种从MLS数据中分割汽车、路灯、交通信号杆等地物的方法,该方法通过对物体定位、前景和背景分割、几何和语义特征的提取等系列流程,实现目标监督分类,另外,该方法也融合其他数据源,完善语义特征描述,物体识别率可达65%。但是训练样本选择数量和代表性会极大地影响识别精度,同时大量的样本训练也会降低系统效率,难以做到实时处理;另外,很多学者利用扫描线特征提取城区和林区的杆状地物,该类方法首先基于杆状地物在扫描线上表现出的不同特征,逐条扫描线中识别属于杆状地物的扫描线,然后根据空间相邻性,将候选扫描线合并得到候选杆状区域,再根据杆状地物的语义规则或先验知识,逐次判断候选杆状区域,得到最终的杆状地物,该类方法需要扫描线信息的支持,难以处理散乱的点云数据,并且对传感器的种类和安装方式具有很大的依赖性,适应性较差;学者Pu等提出一种认知MLS点云场景的方法,用于交通安全的监测:首先将点云粗略分为“地面”、“与地面接触的地物”和“与地面非接触地物”三类,然后利用分割单元的尺寸、拓扑、形状、方向等特征进一步将“与地面接触地物”分为交通标牌、树木、建筑、交通围栏等,该方法在不同类型激光脚点的混合区域、杆状物体上有附属结构、杆状物体周围附着有其它物体的复杂情形时,容易导致检测失败,另外,物体的识别效果也受到特征提取、场景复杂度、数据质量等综合因素的影响;学者Yu 等提出一种全自动方法从MLS数据场景中分割地面、建筑、植被等,该方法首先去除地面点,然后通过体素化加速后续地物点的分割,使得后续Mean-shift分割基于较大的分割单元,最后通过MEMS(Manifold Embedded Mode Seeking, MEMS)方法分类体素化后的分割单元,该分割方法对于点云的噪声和均匀程度不敏感,较适合复杂场景的分割,可以分离独立或者地基较小地物,又能保证跨度较大地物(天桥)和面积较大地物(建筑立面)分割的完整性,另外,该方法对具有重复结构单元的建筑墙面具有良好的分割效果。武汉大学杨必胜教授提出Shape-based分割方法,用于MLS数据分割,该方法首先通过确定最优的邻域范围,计算每个点云的几何特征,用于后续的SVM(Support Vector Machine,SVM)点云标号,然后通过定义分类规则对上述标号过的点云进行聚类,并对聚类单元实施图割优化,最后利用合并规则合并分割单元,以实现单个物体的完整分割,该方法具有较好的分割效率,尤其对于杆状物体具有特别好的分割效果。为满足道路交通设施部件调查和管理需求,学者Yokoyama等利用物体几何结构和上下文语义特征,从MLS数据中探测和识别道路两旁的杆状物,并将其细分为灯杆、多功能用途电线杆、交通标牌三类。在杆状物被正确分割的基础上,其正确识别率达到92.2%;相反,如果杆状物的分割出现错误,其识别率仅为69.7%。
虽然上述学者在利用MLS数据场景分类方面作了大量的工作,目前在提取和识别类似于交通标牌等“杆状”地物方面仍然存在诸多困难:① 由于MLS点云存在严重遮挡、点密度不均匀等问题,在进行局部几何特征计算时,往往很难精确获得地物几何特征参数,从而导致杆状地物检测的完整性较低;② 杆状物体上有附属结构或杆状物体周围附着有其它物体时,容易导致检测失败。
MLS数据场景分类完成后,现有的文献很少涉及如何进一步认知和理解不同地物,即不仅仅需要完整分割,而且需要让计算机进一步认知和理解每类物体和其子类是什么,这样才能更好地满足城市基础部件调查、道路导航等领域的高层次应用需求,另外上述文献也很少有针对性考虑对特定目标(譬如交通标牌)进行实时性识别,很明显,彻底地认知和理解当前车辆扫描场景,有助于提高交通标牌识别的准确度,由于彻底认知场景和单纯追求交通标牌的识别效率之间往往存在矛盾,因而在设计算法时应以实际需求为导向,在交通标牌识别效率和准确率两者之间寻求折中,力求做到实时性和有针对性,这有助于提高算法的工程应用价值,基于上述理解,力求在场景识别的全面性和单一交通标牌识别的实时性、地物分割的尺度与正确识别率、交通标牌类型识别等方面有所突破和创新。
发明内容
本发明提出的是车载激光扫描点云数据的交通标牌识别方法,旨在提供一种利用MLS点云空间数据进行交通标牌实时提取和识别的方法,以克服单纯的基于视觉光学影像提取和识别交通标牌方法的缺陷。
本发明的技术解决方案:车载激光扫描点云数据的交通标牌识别方法,该方法包括以下步骤:
(一)点云实时预处理;
(二)点云结构特征获取;
(三)多尺度马尔科夫随机场点云聚类;
(四)交通标牌识别。
本发明的优点:
(1)提出了一种结合拉普拉斯平滑和非监督马尔科夫随机场聚类方法,该方法利用拉普拉斯平滑方法,强化了点云的“面状”、“线状”、“散乱状”特征,增强了点与点之间的差异性,非监督马尔科夫随机场对点云按照“面状”、“线状”、“散乱状”等类型进行聚类,在避免欠分割的同时,能够快速在交通标牌零部件尺度上合理分割;
(2)提出了一种基于图像匹配实现交通标牌类型识别的方法,该方法直接针对标牌本身的形状进行识别,采用全局优化技术直接获得标牌最优位置和子类型,在一定程度上也可以处理由于其他地物遮挡或地物自遮挡造成的部分点云缺失的问题,并且可以识别含有多个子标牌的复杂交通标牌;
(3)在实时识别交通标牌的同时,也一并实现了城区道路两旁杆状地物的精准分割和提取,从而获得这些基础设施的位置、几何和类别等信息,可服务于全国地理国情普查工作中对城区基础设施部件的快速测绘、建库、更新等统计工作;
(4)可以从地物遮挡或地物自遮挡造成的部分交通标牌确实的点云中实现交通标牌的分类和识别;
(5)本发明基于计算机视觉,对车载点云车牌进行实时识别和认知,在无人驾驶导航、地理国情普查过程中城市零部件的快速提取、监测和识别等领域有重要的实践价值,可以满足当前地理国情普查中对城市零部件的快速提取、监测和识别的要求,可以推广到基于计算机视觉的有人或无人导航和避障领域,辅助驾驶员在复杂路况下导航和决策,有效地降低交通事故发生的概率。
附图说明
附图1 是车载激光扫描点云数据的交通标牌识别方法的技术流程图。
附图2是I destination图像分块示意图。
具体实施方式
对照附图,车载激光扫描点云数据的交通标牌识别方法,该方法包括以下步骤:
(一)点云实时预处理;
(二)点云结构特征获取;
(三)多尺度马尔科夫随机场点云聚类;
(四)交通标牌识别。
所述的点云实时预处理,主要作用是:限定视场范围减少实时处理的点云数量;去除地面点、建筑点等与当前提取目标交通标牌明显不相关的其他地物点,上述两方面预处理,可以大大缩减处理数据的规模,以便系统能够在线实时对交通标牌进行探测,具体预处理步骤如下:
① 剔除视场范围以外的点:可通过简单的阈值法,将当前车辆前、左、右、上、下距离阈值d (100 m)外的点云剔除;
② 地面点剔除方法:将点云栅格化,将其垂直投影到栅格网,每个非空栅格包含若干个点,栅格化过程不损失数据的精度,栅格化后,可保证组成地物点云的完整性;假设将当前栅格及其周围邻域栅格内的最低点设为地面点,逐次比较邻域内最低点和当前栅格内最低点高程,如果存在任意一个邻域栅格最低点高程小于当前栅格最低点高程且超过阈值h 1h 1=0.5 m)时,则判定当前栅格为地物栅格,否则为地面栅格;栅格判定完成后,同时规定,在当前地面栅格及其邻域栅格范围内,比当前地面栅格中最低点高程差大于h 2(10 cm)缓冲带内的点也默认为地面点,需将其剔除;地面点的去除主要是为了减少点云数量,提高实时计算的效率,而残留下没有去除干净且零散散布的地面点将会在后续过程中被进一步剔除,他们暂时的存在不会影响交通标牌识别的精度;
③ 大面积建筑屋顶、建筑立面剔除:借助栅格网,统计分析栅格内点云的数量,如果栅格单元中点的数目大于5且至少存在10个同类型的栅格单元构成连通分量时,这些连通的栅格单元内的点则属于建筑立面,需将其进一步剔除,并且根据建筑立体墙面的位置,将建筑立面后方所有栅格中包含的建筑屋顶点也一并去除。
所述的点云结构特征获取,该步骤的主要目的是对点云逐个标号,将其归属到“线状”、“面状”、“散乱状”三种结构类别,便于下一步流程中使用多尺度马尔科夫随机场,根据点云类别及空间关系进行聚类,其具体方法如下:
对实时预处理后得到的地物点,借助KNN(K-Nearest Neighbor algorithm, KNN)算法构建k邻近无向图,将无组织点云利用无向图数据结构进行组织,组织成无向图有两方面优点:① 通过对无向图分析可有效识别额外噪声点;② 基于此无向图可方便地搜索连通性分量,不同的联通分量代表不同的地物或多个相邻地物的组合;为突显每个联通分量中点云的特征,首先逐个对联通分量利用公式(1)进行拉普拉斯平滑,可以突出“线状”物体的骨架特征,并且会进一步平滑“面状”或“散乱状”物体表面,降低噪声点对点云进行PCA分析时计算特征值、特征向量以及马尔科夫随机场分类带来的影响,便于分类时将每个点归属到“线状”、“面状”、“散乱状”三种结构特征类别。
拉普拉斯的表达式如下:
(1)
其中W L W H 是对角矩阵,分别用来平衡当前点和邻域点间的引力和斥力,W L 设置为单位阵,VV'分别是优化前和优化后的点集,Ln×n的拉普拉斯算子;
使用拉普拉斯平滑物体上突出的细小附属部件,造成附属部件向内收缩,从而缩小物体尺寸,这将会对后续PCA分析造成干扰,所以对该类位于物体附加部件上的“末端点”应设置较大的权重,判别当前点是否为“末端点”方法:位于物体边缘或附属部件上点p的邻域点往往都会分布在p的一侧,否则点p的邻域点分布会比较均匀,可以通过p点最邻近的角度的余弦值绝对值之和判断当前点是否位于物体突出的附属部件上,继而设置矩阵W H 的初始值,拉普拉斯平滑是基于KNN构建的k邻近无向图数据结构进行操作的;
通过拉普拉斯平滑可以维持无向图中点云的位置关系,是针对于无向图的拉伸或者扭曲操作,并且平滑后点云和原始点云是可以一一对应的;
拉普拉斯平滑后,逐点构建协方差矩阵,如公式(2)所示:
(2)
其中p为当前待处理点,N p p最邻近点集合,N p 的中心点,C p 的特征值分别为:λ1,λ2,λ3(λ1 > λ2 > λ3),物体被分成“线状”结构,“面状”结构和“散乱状”结构,交通标牌可以看成“面状”结构和“线状”结构的组合,通过公式(3)~(5)计算当前点云的特征,通过比较每个点云三个特征的大小,找到点云归属的类别;
(3)
(4)
(5)
如果当前点p具有“线性”特征,即λ1>>λ2≈λ3,所以F 1≈1,F 2≈0,F 3≈0;如果p具有“面状”特征,即λ1≈λ2>>λ3,所以F 1≈0,F 2≈1,F 3≈0;如果p具有散乱分布的“散乱状”特征,即λ1≈λ2≈λ3,所以F 1≈0,F 2≈0,F 3≈1。
所述的多尺度马尔科夫随机场点云聚类,其目的是对组成物体的单元进行合理的分块,使得每个分割近似表示组成物体的独立部件,一个完整的物体往往由多个不同类别的分割单元(部件)组成, 该环节设计了马尔科夫随机场能量方程,如公式(6)所示,利用该公式对拉普拉斯平滑后的点云实施聚类,生成分割单元,以便提取交通标牌中最重要的面状单元,用于交通标牌类别的匹配;
由于点云密度不均匀、其他地物遮挡、扫描角度等诸多原因的限制,此时组成物体的每个部件的初次聚类结果往往会出现过分割,因此需基于初次分割单元结果,再次设计基于分割单元的马尔科夫随机场目标能量方程,对分割单元再次进行分割,实现部分过分割单元的合并;
马尔科夫随机场有效地考虑了点与点之间的邻接关系,可以有效避免类似图像椒盐噪声现象的发生,并且通过拉普拉斯平滑使得平面更加平滑,线状结构更加突出,这样可以获得合理的平面和线状物体单元,然后由诸多分割单元组成完整的地物,譬如典型的交通标牌是由一个或多个横、竖向线状标杆及一个或多个面状标牌组成;道路旁边的一棵树木往往是由线状树干和散乱状树冠两部分构成;
马尔科夫随机场能量方程设计如下:
(6)
其中,
表示i点的法向量,L表示点云结构特征类别的集合,l i ∈{l 1 ,l 2 ,l 3 }对应“线状”、“面状”和“散乱状”目标,系数λ调节数据项和平滑项的权重,F 1F 2F 3定义分别参考公式(3)~(5)。
所述的交通标牌识别,针对点云聚类后组成单个物体的多个分割单元,该流程主要判别由多个分割单元组成的完整地物是否为交通标牌,如果为交通标牌,需要进一步判断是何种类型的交通标牌,具体方法如下:
1)可通过① ~③判断当前地物是否为交通标牌:
① 分析物体聚类后的分割单元类别的组合关系。譬如该面状分割单元(部件)与线状类别部件是否相邻,若相邻则由这些部件组成的实体为交通标牌的可能性会很大;
② 通过统计分析面状单元的平均高程和线状单元的尺寸,如果大于经验参数3 m(该参数通过训练样本学习得到)该面状部件则为交通标牌,而非汽车部件,线状单元也可以判别为交通标牌的标杆;
③ 通过加入其它一些先验或者语义来提高交通标牌的匹配和识别精度。交通标牌一般位于道路两侧或者主干路的中央。另外,组成交通标牌的标杆或标牌一般而言都依据规范,有严格的尺寸限制,可以将这些先验知识综合运用,判断被探测物体是否为交通标牌。
2)解决探测到的交通标牌具体是何种类型:
交通标牌往往是由一个或者多个主平面构成,因此可以在步骤(3)“多尺度马尔科夫随机场点云聚类方法”后,逐个遍历每个平面单元,判断该平面单元是否包含交通标牌,利用 RANSAC(RANdom SAmple Consensus, RANSAC)算法搜索出当前平面中最优主平面,然后把组成该物体的所有点云投影到主平面,将三维点云转化为二维图像I source,同时事先需要建立典型交通标牌数据库,保存典型交通标牌完整的三维点云,也同时保存完整路牌在主平面投影得到的二维栅格图像I destination,交通标牌类型的类型问题可转化为图像I sourceI destination的匹配问题,假设当前交通标牌数据中仅有三类标牌,如图2所示,匹配之前,先对I destination分块,每块包含一定数量的栅格(譬如,矩形标牌分成9块,三角形标牌分成7块,圆形标牌分成9块),然后按照I destination中的分块大小逐块在I source上滑动,采用公式(7)进行最优化匹配,计算二者相似的概率;
(7)
式中s表示实际待确定的交通标牌I sourced表示数据库中典型的交通标牌I destinationc sc d分别表示I sourceI destination图像的中心位置,f s i f s i 分别表示I sourceI destinationi部分的特征,l s i l d i 分别表示I sourceI destinationi部分的位置,用来描述每对分块相对中心位置之间的相似程度;描述I sourceI destination图像每一对分块特征之间的相似程度;
先采用Sift算子获得每个栅格的特征,然后采用矢量量化的方式把这些栅格的特征构建字典,最后把每个栅格的值用这些字典中的单词来表示,每一块表示成一系列单词的集合,形成每一块的特征;表示该位置出现该特征在I destination中的概率,通过最大化公式(7)搜索到I source的中心位置以及最优匹配类型。

Claims (3)

1.车载激光扫描点云数据的交通标牌识别方法,其特征是该方法包括以下步骤:
(一)点云实时预处理;
(二)点云结构特征获取;
(三)多尺度马尔科夫随机场点云聚类;
(四)交通标牌识别;
所述的点云实时预处理,具体步骤如下:
①剔除视场范围以外的点:通过阈值法,将当前车辆前、左、右、上、下距离阈值d=100m外的点云剔除;
②地面点剔除方法:将点云栅格化,栅格单元尺寸设置为点云平均密度,将其垂直投影到栅格网,每个非空栅格包含若干个点,保证组成地物点云的完整性;假设将当前栅格及其周围邻域栅格内的最低点设为地面点,逐次比较邻域内最低点和当前栅格内最低点高程,如果存在任意一个邻域栅格最低点高程小于当前栅格最低点高程且超过阈值h1=0.5m时,则判定当前栅格为地物栅格,否则为地面栅格;栅格判定完成后,在当前地面栅格及其邻域栅格范围内,比当前地面栅格中最低点高程差大于h2=10cm缓冲带内的点也默认为地面点,需将其剔除;
③大面积建筑屋顶、建筑立面剔除:借助栅格网,统计分析栅格内点云的数量,如果栅格单元中点的数目大于5且至少存在10个同类型的栅格单元构成连通分量时,这些连通的栅格单元内的点则属于建筑立面,需将其进一步剔除,并且根据建筑立体墙面的位置,将建筑立面后方所有栅格中包含的建筑屋顶点也一并去除;
所述的点云结构特征获取,其具体方法如下:
1)对实时预处理后得到的地物点,借助KNN(K-Nearest Neighbor algorithm,KNN)算法构建k邻近无向图,将无组织点云利用无向图数据结构进行组织;
2)逐个对联通分量利用公式(1)进行拉普拉斯平滑:
其中WL和WH是对角矩阵,分别用来平衡当前点和邻域点间的引力和斥力,WL设置为单位阵,V和V'分别是优化前和优化后的点集,L是n×n的拉普拉斯算子;
3)拉普拉斯平滑后,逐点构建协方差矩阵,如公式(2)所示:
其中p为当前待处理点,Np是p最邻近点集合,是Np的中心点,Cp的特征值分别为:λ1,λ2,λ3123),物体被分成“线状”结构,“面状”结构和“散乱状”结构,交通标牌看成“面状”结构和“线状”结构的组合,通过公式(3)~(5)计算当前点云的特征,通过比较每个点云三个特征的大小,找到点云归属的类别;
如果当前点p具有“线性”特征,即λ1>>λ2≈λ3,所以F1≈1,F2≈0,F3≈0;如果p具有“面状”特征,即λ1≈λ2>>λ3,所以F1≈0,F2≈1,F3≈0;如果p具有散乱分布的“散乱状”特征,即λ1≈λ2≈λ3,所以F1≈0,F2≈0,F3≈1。
2.根据权利要求1所述的车载激光扫描点云数据的交通标牌识别方法,其特征是所述的多尺度马尔科夫随机场点云聚类,其具体方法如下:
1)如公式(6)所示,利用该公式对拉普拉斯平滑后的点云实施聚类,生成分割单元;
其中,Di(li)=1-pi(li),
Vij(i,j)=||Normal(i)-Normal(j)||2
Normal(i)表示i点的法向量,L表示点云结构特征类别的集合,li∈{l1,l2,l3}对应“线状”、“面状”和“散乱状”目标,系数λ调节数据项和平滑项的权重,F1,F2,F3定义分别参考公式(3)~(5)。
3.根据权利要求1所述的车载激光扫描点云数据的交通标牌识别方法,其特征是所述的交通标牌识别,具体方法如下:
1)通过①~③判断当前地物是否为交通标牌:
①分析物体聚类后的分割单元类别的组合关系:判断“面状”结构与“线状”结构是否相邻,若相邻则由这些部件组成的实体为交通标牌;
②通过统计分析“面状”结构的平均高程与训练样本所得到的经验参数,判断该“面状”结构是交通标牌而非汽车部件;通过统计分析“线状”结构的尺寸与训练样本所得到的经验值,进一步确定“线状”结构为交通标牌的标杆;
③通过加入先验或者语义来提高交通标牌的匹配和识别精度,判断被探测物体是否为交通标牌;
2)解决探测到的交通标牌具体是何种类型:在完成步骤(三)后,逐个遍历交通标牌的每个平面单元,判断该平面单元是否包含交通标牌,利用RANSAC算法搜索出当前平面中最优主平面,然后把组成该物体的所有点云投影到主平面,将三维点云转化为二维图像Isource,同时,建立典型交通标牌数据库,保存典型交通标牌完整的三维点云,保存完整路牌在主平面投影得到的二维栅格图像Idestination,交通标牌类型的类型问题转化为图像Isource和Idestination的匹配问题,匹配之前,先对Idestination分块,然后按照Idestination中的分块大小逐块在Isource上滑动,采用公式(7)进行最优化匹配,计算二者相似的概率;
式中s表示实际待确定的交通标牌Isource,d表示数据库中典型的交通标牌Idestination,cs和cd分别表示Isource和Idestination图像的中心位置,fs i,fd i分别表示Isource和Idestination第i部分的特征,ls i和ld i分别表示Isource和Idestination第i部分的位置,P(ls i|ld i,cs,cd)用来描述每对分块相对中心位置之间的相似程度;P(fs i|fd i)描述Isource和Idestination图像每一对分块特征之间的相似程度;先采用Sift算子获得每个栅格的特征,然后采用矢量量化的方式把这些栅格的特征构建字典,最后把每个栅格的值用这些字典中的单词来表示,每一块表示成一系列单词的集合,形成每一块的特征;P(fd i|ld i)表示该位置出现该特征在Idestination中的概率,通过最大化公式(7)搜索到Isource的中心位置以及最优匹配类型。
CN201610467707.2A 2016-06-24 2016-06-24 车载激光扫描点云数据的交通标牌识别方法 Active CN106127153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610467707.2A CN106127153B (zh) 2016-06-24 2016-06-24 车载激光扫描点云数据的交通标牌识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610467707.2A CN106127153B (zh) 2016-06-24 2016-06-24 车载激光扫描点云数据的交通标牌识别方法

Publications (2)

Publication Number Publication Date
CN106127153A CN106127153A (zh) 2016-11-16
CN106127153B true CN106127153B (zh) 2019-03-05

Family

ID=57268917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610467707.2A Active CN106127153B (zh) 2016-06-24 2016-06-24 车载激光扫描点云数据的交通标牌识别方法

Country Status (1)

Country Link
CN (1) CN106127153B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599915B (zh) * 2016-12-08 2017-11-28 立得空间信息技术股份有限公司 一种车载激光点云分类方法
CN106650809B (zh) * 2016-12-20 2018-02-23 福州大学 一种车载激光点云目标分类方法和系统
CN108268483A (zh) * 2016-12-30 2018-07-10 乐视汽车(北京)有限公司 生成用于无人车导航控制的网格地图的方法
CN106845535B (zh) * 2017-01-06 2019-08-02 沈阳工业大学 基于点云的典型零部件识别方法
CN106845416B (zh) * 2017-01-20 2021-09-21 百度在线网络技术(北京)有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN108345822B (zh) * 2017-01-22 2022-02-01 腾讯科技(深圳)有限公司 一种点云数据处理方法及装置
CN107123294A (zh) * 2017-06-19 2017-09-01 郑州大学西亚斯国际学院 信号灯模式识别提醒系统和方法
CN107492101B (zh) * 2017-09-07 2020-06-05 四川大学 基于自适应构造最优图的多模态鼻咽肿瘤分割算法
CN107958209B (zh) * 2017-11-16 2021-10-29 深圳天眼激光科技有限公司 一种违建识别方法、系统及电子设备
CN108345884B (zh) * 2018-01-11 2023-07-28 中国计量大学 一种基于三维激光扫描的车牌识别装置及其方法
CN108416785B (zh) * 2018-03-26 2020-08-11 北京进化者机器人科技有限公司 面向封闭空间的拓扑分割方法及装置
CN108765446B (zh) * 2018-05-30 2021-07-16 湖北大学 基于随机场和随机森林的电力线点云分割方法及系统
CN108846333B (zh) * 2018-05-30 2022-02-18 厦门大学 标志牌地标数据集生成及车辆定位方法
CN109099901B (zh) * 2018-06-26 2021-09-24 中科微易(苏州)智能科技有限公司 基于多源数据融合的全自动压路机定位方法
CN110378359B (zh) * 2018-07-06 2021-11-05 北京京东尚科信息技术有限公司 一种图像识别方法和装置
CN109100744B (zh) * 2018-07-27 2021-03-30 深圳蓝胖子机器人有限公司 用于agv的目标定位方法及系统
CN109271861B (zh) * 2018-08-15 2021-08-17 武汉中海庭数据技术有限公司 多尺度融合的点云交通标识牌自动提取方法
CN109635640B (zh) * 2018-10-31 2020-12-08 百度在线网络技术(北京)有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN111542828A (zh) * 2018-11-21 2020-08-14 深圳市大疆创新科技有限公司 线状物识别方法及装置、系统和计算机存储介质
CN109558838B (zh) * 2018-11-29 2021-02-02 北京经纬恒润科技股份有限公司 一种物体识别方法及系统
US10846511B2 (en) 2018-12-20 2020-11-24 Here Global B.V. Automatic detection and positioning of pole-like objects in 3D
US11151394B2 (en) * 2019-06-24 2021-10-19 Nvidia Corporation Identifying dynamic objects in a point cloud
CN110415299B (zh) * 2019-08-02 2023-02-24 山东大学 一种运动约束下基于设定路牌的车辆位置估计方法
CN110705595B (zh) * 2019-09-04 2022-02-25 苏州工业园区测绘地理信息有限公司 一种基于背包式三维激光点云数据的停车位自动提取方法
CN111126211B (zh) * 2019-12-13 2023-08-29 北京四维图新科技股份有限公司 标牌识别方法和装置、电子设备
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111259958B (zh) * 2020-01-15 2024-04-16 北京市商汤科技开发有限公司 物体识别方法及装置、存储介质
CN111340935A (zh) * 2020-01-23 2020-06-26 北京市商汤科技开发有限公司 点云数据处理方法、智能行驶方法及相关装置、电子设备
CN113269005A (zh) * 2020-02-14 2021-08-17 深圳云天励飞技术有限公司 一种安全带检测方法、装置及电子设备
CN113361303B (zh) * 2020-03-05 2023-06-23 百度在线网络技术(北京)有限公司 临时交通标志牌识别方法、装置及设备
CN111353483B (zh) * 2020-05-25 2020-10-16 深圳大学 一种杆状设施结构特征提取方法及相关设备
CN111666876B (zh) * 2020-06-05 2023-06-09 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、装置、电子设备和路侧设备
CN112666573B (zh) * 2020-11-17 2022-08-23 青岛慧拓智能机器有限公司 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN112446343B (zh) * 2020-12-07 2024-03-15 园测信息科技股份有限公司 一种融合多尺度特征的车载点云道路杆状物机器学习自动提取方法
CN113221648B (zh) * 2021-04-08 2022-06-03 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN114758323A (zh) * 2022-06-13 2022-07-15 青岛市勘察测绘研究院 一种基于车载激光点云的城市道路标牌提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881219A (zh) * 2012-09-20 2013-01-16 北京林业大学 果树定位地图构建装置及方法
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
CN103969656A (zh) * 2014-05-08 2014-08-06 北京数字绿土科技有限公司 基于机载激光雷达的建筑物建模方法和装置
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9523772B2 (en) * 2013-06-14 2016-12-20 Microsoft Technology Licensing, Llc Object removal using lidar-based classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881219A (zh) * 2012-09-20 2013-01-16 北京林业大学 果树定位地图构建装置及方法
CN103390169A (zh) * 2013-07-19 2013-11-13 武汉大学 一种车载激光扫描点云数据的城市地物分类方法
CN103969656A (zh) * 2014-05-08 2014-08-06 北京数字绿土科技有限公司 基于机载激光雷达的建筑物建模方法和装置
CN104933708A (zh) * 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
车载激光扫描数据中多类目标的层次化提取方法;董震 等;《测绘学报》;20150930;第44卷(第9期);第980-987页

Also Published As

Publication number Publication date
CN106127153A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106127153B (zh) 车载激光扫描点云数据的交通标牌识别方法
Yang et al. Computing multiple aggregation levels and contextual features for road facilities recognition using mobile laser scanning data
Wang et al. SigVox–A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds
Lehtomäki et al. Object classification and recognition from mobile laser scanning point clouds in a road environment
El-Halawany et al. Detection of road poles from mobile terrestrial laser scanner point cloud
Riveiro et al. Automatic segmentation and shape-based classification of retro-reflective traffic signs from mobile LiDAR data
Zheng et al. Recognizing street lighting poles from mobile LiDAR data
Wu et al. Rapid localization and extraction of street light poles in mobile LiDAR point clouds: A supervoxel-based approach
Yu et al. Automated extraction of urban road facilities using mobile laser scanning data
WO2018068653A1 (zh) 点云数据处理方法、装置及存储介质
Yan et al. Detection and classification of pole-like road objects from mobile LiDAR data in motorway environment
Soilán et al. Automatic extraction of road features in urban environments using dense ALS data
Kang et al. Voxel-based extraction and classification of 3-D pole-like objects from mobile LiDAR point cloud data
JP6621445B2 (ja) 特徴抽出装置、物体検出装置、方法、及びプログラム
Ibrahim et al. Curb-based street floor extraction from mobile terrestrial LiDAR point cloud
JP5430627B2 (ja) 道路付属物検出装置、道路付属物検出方法、及びプログラム
Fan et al. Identifying man-made objects along urban road corridors from mobile LiDAR data
Bremer et al. Eigenvalue and graph-based object extraction from mobile laser scanning point clouds
Yadav et al. Identification of trees and their trunks from mobile laser scanning data of roadway scenes
Yang et al. A skeleton-based hierarchical method for detecting 3-D pole-like objects from mobile LiDAR point clouds
Yang et al. Using mobile laser scanning data for features extraction of high accuracy driving maps
Soilán et al. Automatic road sign inventory using mobile mapping systems
Hu Intelligent road sign inventory (IRSI) with image recognition and attribute computation from video log
Zheng et al. Pole-like object extraction from mobile lidar data
Roynard et al. Fast and robust segmentation and classification for change detection in urban point clouds

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20161116

Assignee: Nanjing Tianfang Earth Circle Surveying and Mapping Technology Co., Ltd.

Assignor: Nanjing Forestry University

Contract record no.: 2019320000272

Denomination of invention: Traffic label identification method of vehicle-mounted laser scanning point cloud data

Granted publication date: 20190305

License type: Common License

Record date: 20190726

Application publication date: 20161116

Assignee: Nanjing Yihaopu Software Technology Co., Ltd.

Assignor: Nanjing Forestry University

Contract record no.: 2019320000271

Denomination of invention: Traffic label identification method of vehicle-mounted laser scanning point cloud data

Granted publication date: 20190305

License type: Common License

Record date: 20190726

EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20161116

Assignee: Nanjing Grand Canyon Mdt InfoTech Ltd

Assignor: Nanjing Forestry University

Contract record no.: X2019320000016

Denomination of invention: Traffic label identification method of vehicle-mounted laser scanning point cloud data

Granted publication date: 20190305

License type: Common License

Record date: 20190809