CN116468933A - 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 - Google Patents
一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 Download PDFInfo
- Publication number
- CN116468933A CN116468933A CN202310298103.XA CN202310298103A CN116468933A CN 116468933 A CN116468933 A CN 116468933A CN 202310298103 A CN202310298103 A CN 202310298103A CN 116468933 A CN116468933 A CN 116468933A
- Authority
- CN
- China
- Prior art keywords
- intensity
- point cloud
- data
- correction
- traffic sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000005070 sampling Methods 0.000 title claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims description 102
- 239000013598 vector Substances 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 14
- 230000002457 bidirectional effect Effects 0.000 claims description 10
- 238000005315 distribution function Methods 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 239000011248 coating agent Substances 0.000 claims description 8
- 238000000576 coating method Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 238000007635 classification algorithm Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 6
- 238000000513 principal component analysis Methods 0.000 claims description 6
- 238000002310 reflectometry Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003066 decision tree Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本发明提出一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法。所述交通标志牌分类方法包括强度校正、点云上采样处理、强度分布特征提取、几何轮廓特征提取；激光雷达强度校正提供高精度强度图像，点云上采样提供高分辨率三维数据；基于校正后强度数据与上采样后的点云数据，提取强度特征与几何特征；所述强度特征与几何特征作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类。本发明针对恶劣天气和低光照环境下相机失效情况，利用激光雷达数据为交通标志牌识别提供关键技术手段，可应用于智能驾驶领域。
Description
技术领域
本发明涉及智能驾驶应用中激光雷达交通标志牌智能识别领域，尤其是一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法。该方法基于校正后强度数据(高精度强度图像)与上采样后的点云数据(高分辨率三维数据)提取强度特征与几何特征，作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类。
背景技术
作为智慧交通战略的重要组成，无人驾驶汽车上通常搭载多传感器，例如相机、雷达、里程计、激光雷达等，用于监测道路环境，识别道路标志，保证驾驶安全。道路标志中，交通标志牌可起到警告、禁令、指路的作用，用于向车辆和行人传递指示信息，在驾驶决策、引导交通、保障安全等方面起着重要作用。交通标志牌分类是智能交通系统的关键技术之一，利用相机、激光雷达等传感器采集的多源成像数据，可实现交通标志牌特征提取与类型识别，从而保证自动驾驶决策的安全性与可靠性。
交通标志牌通常垂直放置于道路两侧，采用铝板和反光膜制作，具有标准形状、鲜明颜色和极强反射率，使其能与其他道路目标显著区分。从采集的原始图像或点云中可检测并提取标志牌，根据所提取数据可生成有效特征，实现标志牌分类。当前交通标志牌的分类常基于相机所提供的图像数据实现，分类方法包括基于模板匹配法、基于机器学习方法和基于深度学习方法。基于模板匹配法首先需要构建模板库，通过遍历模板库中标志牌，计算模板与待识别标志牌的相似性，实现类型识别，该方法鲁棒性不强，无法抗破损、遮挡和污染干扰。基于机器学习方法通过人为特征信息，利用支持向量机、神经网络等分类器实现分类，常用的特征包括形状特征和颜色特征，形状特征包含SURF、SIFT、ORB等算子，颜色特征包含HOG等算子。基于深度学习方法可自动提取特征，实现交通标志牌的分类，分为基于卷积神经网络和基于Transformer两种方向，是目前图像实现标志牌分类的主流算法。
根据现有专利局提供专利查询，针对交通标志牌分类问题，现存专利申请集中于基于图像数据实现分类，首先对所采集的图像进行数据增强，输入深度学习网络中实现图像特征自动提取，对所述提取特征进行多级多尺度特征处理，挖掘交通标志牌的高维信息，从而完成智能分类。上述专利包括在中国专利CN115116046A中公开的“一种基于卷积神经网络的道路标牌自动分类方法及系统”。上述专利仅使用道路标志牌视频作为分类数据源，没有使用激光雷达等传感器所采集的点云数据，该方法具有在恶劣天气与低光照环境下应用失效的可能性。本申请专利与上述专利不同包括：第一，所用数据源不同，上述专利处理的数据源为从车载摄像头拍摄的道路视频中提取包含道路标志牌的视频帧图像，对视频帧图像的标志牌进行标注，形成标签集与训练样本集；本申请专利处理的数据源为激光雷达系统采集交通标志牌点云数据与强度信息，提取所述点云几何特征与强度特征，形成训练和测试样本集；第二，特征提取方式不同，上述专利从属于深度学习领域，通过构建卷积神经网络，实现交通标志牌特征的自动提取，本申请专利从属于传统机器学习领域，需对所采集点云数据进行处理，提取人工特征，作为分类依据。
另一种专利申请基于传统机器学习方法，从原始图像数据中提取标志牌图像，利用形状特征算子或颜色特征算子表征交通标志牌特征，作为分类器的输入。上述专利包括在中国专利CN110334601A中公开的“一种结合机器学习和计算机视觉的限速标志牌识别方法”，上述专利同样仅使用道路视频图像数据提取特征，没有使用点云数据作为特征提取依据，易在恶劣天气与低光照环境下失效。本申请专利与上述专利不同包括：第一，所用数据源不同，上述专利利用图像特征实现标志牌分类，本申请专利基于点云数据实现标志牌分类；第二，所用校正方法不同，上述专利通过对彩色图像进行灰度化处理，利用图像直方图统计判断路况天气情况，使用阈值化处理方法消除不同天气因素和光线强度对图像的影响，本申请专利基于激光雷达系统标定参数，采用距离效应函数和入射角效应函数实现强度校正，提升所采集点云数据同质区域的强度一致性；第三，所用分类特征不同，上述专利对圆形标志牌二值化图像内部的字符进行独立分割，将字符作为分类器输入特征，本申请专利从点云中提取强度分布频率直方图作为强度分布特征，解算标志牌外轮廓标记图作为几何轮廓特征，强度分布特征和几何轮廓特征共同构成分类器输入特征；第四，识别范围不同，上述专利可识别标志牌是否为限速标志牌，及限速标志牌语义信息，本申请专利可实现禁令标志、警告标志、指示标志等多类型标志牌的识别。
上述两种专利从属于图像目标识别领域，还包括一种专利从属于点云与图像融合目标识别领域，该专利同时获取道路场景激光点云数据及其对应连续帧图片数据，基于图片和点云融合特征实现三维目标检测，根据相机参数和三维目标信息提取图像中标志牌区域，依据标志牌图片数据中的内容信息对标志牌进行分类。上述专利包括在中国专利CN112507887A中公开的“一种路口标志牌提取及关联的方法及装置”，上述专利中激光雷达点云数据仅起到标志牌检测和提取作用，标志牌分类的数据来源仍为图像数据。本申请专利与上述专利不同包括：第一，点云数据所起作用不同，上述专利中点云数据主要起到与图像融合的作用，基于融合后的特征图实现包围框预测，从而提取图像中标志牌所在区域，本申请专利点云数据主要用于提取标志牌强度分布特征和几何轮廓特征，作为分类器的输入；第二，所用分类特征不同，上述专利通过空间变换网络校正交通标志牌语义信息，利用端对端识别网络对语义信息进行识别，并结合标志牌的方向信息实现分类，本申请专利从点云中提取强度分布频率直方图作为强度分布特征，解算标志牌外轮廓标记图作为几何轮廓特征，强度分布特征和几何轮廓特征共同构成分类器输入特征。
根据现有专利局提供专利查询，针对交通标志牌分类问题，现存专利申请集中于基于图像数据实现交通标志牌分类。然而，相机在恶劣天气(如雨、雪、雾等)与低光照环境(如夜晚、隧道等)易失效，无法提供高质量图像数据，而激光雷达可成为上述失效问题的有益补充手段。因为激光雷达具有高帧率与广视角，可提供准确可靠的测距信息与深度成像，对环境鲁棒性强。但标志牌分类目前主要依赖于图像数据，缺乏仅基于点云数据实现标志牌分类的通用框架，未有效处理点云几何和强度数据，实现点云有效特征的表征。
为克服上述缺陷，本发明提出一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法。所述交通标志牌分类方法包括强度校正方法、点云上采样处理方法、强度分布特征提取方法、几何轮廓特征提取方法；激光雷达强度校正提供高精度强度图像，点云上采样提供高分辨率三维数据；基于校正后强度数据与上采样后的点云数据，提取强度特征与几何特征；所述强度特征与几何特征作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类。本发明在激光雷达智能驾驶领域具有广阔的应用前景。
发明内容
本发明公开一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法；其特征在于，激光雷达强度校正提供高精度强度图像，点云上采样提供高分辨率三维数据；基于校正后强度数据与上采样后的点云数据，提取强度特征与几何特征；所述强度特征与几何特征作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类；所述交通标志牌分类方法包括强度校正方法、点云上采样处理方法、强度分布特征提取方法、几何轮廓特征提取方法；所述强度校正方法针对激光雷达采集的原始强度数据，建立距离效应校正函数与角度(入射角)效应校正函数，提升所采集点云数据同质区域的强度一致性；所述点云上采样处理方法针对低密度点云，实现点云空间上采样与强度插值估计，提升点云强度信息丰度；所述强度分布特征提取方法，将标志牌上所有强度数据表征为一维强度分布向量，作为分类器特征输入之一；所述几何轮廓特征提取方法，将三维点云数据表征为几何轮廓代数表达，作为分类器特征输入之一；基于所述强度分布特征与所述几何轮廓特征，训练交通标志牌样式的分类器(分类模型)；
所述基于激光雷达强度校正与点云上采样的交通标志牌分类方法包括步骤：
(1)强度校正：根据激光雷达系统参数(如探测器性能、光学接收设计性能)，选取距离效应校正函数与入射角效应校正函数；基于测试数据估计所述校正函数参数，记为距离效应函数fdis(R)与入射角效应函数fagl(θ)；对激光雷达系统采集的原始强度数据Iraw，基于所述距离效应函数与入射角效应函数，获取校正强度数据Icor，即Rs为标定参考距离，θs为标定参考入射角；
(2)点云上采样：根据激光雷达所采集三维原始点云(xo,yo,zo)，实现离散点云空间插值，空间插值点与原始点云并集形成插值点云(xn,yn,zn)，所述插值点云的强度数据定义为插值强度数据Inew；所述插值强度数据Inew可由邻域点云的校正强度数据Icor估计；
(3)强度分布特征提取：根据上采样后标志牌上所有的强度数据Inew，建立强度分布频率直方图，作为所述分类器的点云强度分布特征输入；所述强度分布频率直方图，包括原始强度分布频率直方图，和/或截断强度分布频率直方图，和/或等间隔强度分布频率直方图，和/或不等间隔强度分布频率直方图；
(4)几何轮廓特征提取：基于所述插值点云(xn,yn,zn)，实现三维点云至二维图像的映射，提取所述二维图像外轮廓，解算外轮廓标记图，标记图波谷数量定义为所述点云几何轮廓特征；
(5)标志牌样式分类模型：基于所述强度分布特征和所述几何轮廓特征，构建交通标志牌样本的特征向量；多个样本的所述特征向量构成所述分类器的输入，可用于训练所述分类器；所述训练后的分类器可实现交通标志牌样式分类；所述分类器包括人工神经网络，和/或支持向量机，和/或最近邻，和/或高斯混合模型，和/或朴素贝叶斯，和/或决策树，和/或径向基函数分类。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述距离效应函数fdis(R)可通过以下步骤确定：
1)获取参考反射率漫反射板在不同距离处的激光雷达强度原始强度数据，保持扫描角度相同，记录不同距离下的三维点云数据与强度数据；
2)计算所述漫反射板强度数据均值，确定所述强度数据均值随距离变化关系，选择合适的距离效应函数；所述距离效应函数fdis(R)可选取多项式函数，和/或反比函数，和/或指数函数；根据激光雷达系统特性，实现距离效应函数的合理选择；
3)根据上述强度数据均值随距离变化关系，计算所述距离效应函数fdis(R)参数，确定所述距离效应函数fdis(R)分段拐点；所述距离效应函数fdis(R)可采用分段形式表达，所述分段函数拐点可通过所述强度数据均值随距离的变化率确定；
4)选取标定参考距离Rs，计算fdis(Rs)，为计算所述校正强度数据Icor提供标定距离参考。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述入射角效应函数fagl(θ)可通过如下步骤确定：
1)获取所述标定参考距离Rs在不同角度下数据，改变扫描角度，记录交通标志牌样本在不同入射角下的三维点云数据和强度数据；
2)计算所述交通标志牌样本的同质区域强度均值，所述同质区域指所述交通标志牌样本上颜色和材质相同的区域，确定所述同质区域强度均值随入射角变化关系，选择合适的角度效应函数；所述角度效应函数基于双向反射分布函数模型建立；所述双向反射分布函数模型包括理论模型，和/或经验模型，和/或半经验模型；所述双向反射分布函数理论模型可选Torrance-Sparrow模型，和/或Oren-Nayar模型等；所述双向反射分布函数经验模型可选Phong模型，和/或Blinn-Phong模型等；所述双向反射分布函数半经验模型可选Schlick模型等；
3)根据上述同质区域强度均值随入射角变化关系，拟合所述入射角效应函数fagl(θ)参数；
4)选取标定参考入射角θs，计算fagl(θs)，计算所述校正强度数据Icor。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述强度校正函数与激光雷达系统设计相关；所述距离效应函数fdis(R)与受仪器特性影响，如自动增益控制、近距离衰减器以及系统散斑效应，所述入射角效应函数fagl(θ)受被测目标表面属性影响，如反射率以及粗糙度；所述距离效应校正效果与目标大小相关，即距离校正对大尺寸平面目标更为显著；所述角度效应校正效果与法线估计有关，多法线目标(如植被、汽车)法线估计不准确，入射角效应函数fagl(θ)校正效果不明显。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述插值点云(xn,yn,zn)及其对应的插值强度数据Inew可通过以下步骤建立：
1)针对激光雷达系统所采集三维原始点云(xo,yo,zo)，采用三维散点数据插值方法，实现三维离散点云插值，插值点和原始点并集形成插值点云(xn,yn,zn)；所述三维散点数据插值方法包括基于三角剖分的线性插值，和/或基于三角剖分的最近邻点插值，和/或基于三角剖分的自然邻点插值，和/或基于三角剖分的三次插值，和/或Akima三次Hermite插值，和/或双调和样条插值等；
2)取所述插值点云(xn,yn,zn)中一点作为查询点，在所述原始点云(xo,yo,zo)中查找所述查询点的最近邻点，查找最近邻点的数量记为m，所述第i个最近邻点与所述查询点的距离为Ri，所述第i个最近邻点校正强度值为Icor,i；
3)计算所述查询点强度值，即所述插值强度Inew,i
4)重复步骤2)～3)，直至求解完毕所述插值点云(xn,yn,zn)中所有点强度值，构成所述插值强度数据Inew。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述点云强度分布特征，即所述强度分布频率直方图，可通过以下步骤建立：
1)绘制所述插值强度数据Inew频率直方图，记为原始强度分布频率直方图；当强度统计频率值超过一定阈值时，所含区域定义为频率直方图高频区域[Ilow,Ihigh]，Ilow和Ihigh为所述高频区域的上下边界；作为分类器输入，需要选取划分间隔Δt，使所述强度分布频率直方图形成一维强度分布向量。
2)所述截断强度分布频率直方图，定义为选取所述原始强度分布频率直方图高频区域[Ilow,Ihigh]形成的一维强度分布向量；
3)所述等间隔强度分布频率直方图，定义为对所述原始强度分布频率直方图，整体采用相同分间隔Δt重新划分，使直方图级数从原始的256变更为N＝round(256/Δt)，round(·)为求整。所组成的更新直方图记为一维强度分布向量；当Δt＝Δtsmall，所述更新直方图为小间隔强度分布频率直方图，当Δt＝Δtlarge，所述更新直方图为大间隔强度分布频率直方图；
4)所述不等间隔强度分布频率直方图，定义为对所述频率直方图高频区域[Ilow,Ihigh]，采用小划分间隔Δt＝Δtsmall重新划分所述高频区域，对所述高频区域以外区域，采用大划分间隔Δt＝Δtlarge重新划分，其中Δtsmall＜Δtlarge，所组成的新直方图记为一维强度分布向量，即所述不等间隔强度分布频率直方图；
5)选用所述原始强度分布频率直方图，或所述截断强度分布频率直方图，或所述等间隔强度分布频率直方图，或所述不等间隔强度分布频率直方图，作为所述点云强度分布特征，输入给所述分类器。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述点云几何轮廓特征，可通过以下步骤建立：
1)计算旋转矩阵和平移矩阵，将所述插值点云所在坐标系由激光雷达坐标系统一为标志牌坐标系，坐标系转换后点云为标志牌坐标系点云；
2)采用数据降维方法，将所述标志牌坐标系点云由三维数据映射为二维图像数据；所述数据降维方法包括多维尺度变换(MDS)，和/或等距特征映射(ISOMAP)，和/或主成分分析(PCA)等；
3)对所述映射二维图像数据进行二值化处理，实现图像区域分割，提取交通标志牌区域；所述二值化处理方法，指选定全局阈值，所述全局阈值可采用大津阈值法选取，超过该阈值对像素赋值255，未超过赋值0；
4)提取所述标志牌区域外轮廓，通过梯度算子检测图像灰度变化，灰度变化剧烈点的集合即为所述标志牌外轮廓；所述梯度算子包括Roberts交叉算子，和/或Prewitt算子，和/或Sobel算子等；
5)对所述标志牌外轮廓，采用距离-角度函数标记图表征，所述距离-角度函数标记图指质心到边界线的距离相对于角度的函数；所述距离-角度函数标记图的波谷数即所述几何轮廓特征。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述目标(交通标志牌)包括禁令标志、警告标志、指示标志、指路标志、旅游区标、道路施工安全标志、辅助标志等，具有以下属性：
1)所述交通标志牌几何轮廓包括正等边三角形、圆形、倒等边三角形、八角形、方形等；
2)所述交通标志牌区域可分为语义区域和背景区域；
3)所述交通标志牌语义区域涂层颜色包括但不限于黑色，和/或白色，和/或红色，所述语义区域涂层颜色影响近红外波段激光雷达强度分布状态；
4)所述交通标志牌背景区域涂层颜色包括但不限于白色，和/或红色，和/或蓝色，和/或黄色，和/或绿色，和/或棕色，所述背景区域涂层颜色影响近红外波段激光雷达强度分布状态；
5)交通标志牌语义区域和背景区颜色的选取，影响所述强度分布频率直方图形成与分类器输出结果。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，方法可通过如下指标评估：
1)针对所述距离效应函数fdis(R)和所述入射角效应函数fagl(θ)，其拟合效果可通过回归评价指标评估；所述回归评价指标包括拟合优度(R-Squared)，和/或校正决定系数(Adjusted R-square)，和/或均方误差(MSE)，和/或均方根误差(RMSE)，和/或误差平方和(SSE)，和/或平均绝对误差(MAE)，和/或平均绝对百分比误差(MAPE)；
2)针对所述校正强度数据Icor，其校正效果可通过变异系数评估；所述变异系数指所述交通标志牌同质区域强度值标准差与均值的比率；变异系数越小，所述同质区域强度一致性越高，校正效果越好；
3)针对所述插值强度数据Inew，其上采样效果可通过强度平均信息熵评估；所述强度平均信息熵可表达为
式中，Pi为所述插值强度数据Inew中第i级强度值出现的概率，m为所述插值强度数据Inew中最大值；所述强度平均信息熵越大，强度信息量越大，上采样效果越好；
4)针对标志牌样式分类结果，可用分类算法评价指标进行评价；所述分类算法评价指标包括混淆矩阵，和/或准确率，和/或精确率，和/或召回率，和/或F1 Score，和/或P-R曲线，和/或接受者操作特征曲线(ROC)。
所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述激光雷达系统可采用机械旋转型扫描方式，或MEMS型扫描方式，或Flash型扫描方式，或相控阵型扫描方式(OPA)；所述不同扫描方式具有如下属性：
1)所述机械旋转型扫描方式通过旋转发射模块实现动态扫描，依靠加收发模块数量实现高线束，低线束时点云呈线状分布，空间分辨率低，影响所述点云上采样方法强度估计准确性；
2)所述MEMS型扫描方式通过旋转微振镜改变激光方向，可实现快速扫描，等效线束高于机械旋转型扫描方式，但大视场角需要多子视场拼接，所述多子视场拼接效果影响所述点云上采样方法空间插值准确性；
3)所述Flash型扫描方式能快速记录场景，但角分辨率低，影响所述点云上采样方法强度估计准确性；
4)所述相控阵型扫描方式采用电磁波相干原理，通过改变电流相位实现局部精细化扫描，但易形成旁瓣，使激光能量被分散，影响所述点云上采样方法强度估计准确性。
附图说明
图1为基于激光雷达强度校正与点云上采样的交通标志牌分类方法的工作流程图
图2为强度校正模型(含距离效应函数、入射角效应函数)的拟合过程与结果示意图
图3为上采样强度插值示意图
图4为强度分布频率直方图构建示意图，包括原始强度分布频率直方图、截断强度分布频率直方图、等间隔强度分布频率直方图(大间隔、小间隔)、不等间隔强度分布频率直方图
图5为不同形状标志牌几何轮廓特征提取示意图
图6为本实例所使用标志牌类型及其近距离采集的高密度点云数据
具体实施方式
以下结合附图对本发明专利的具体实施方式作进一步详细描述。
本发明公开一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法，本方法的一实施例工作流程图1所示。本实施例由数据处理、特征提取、类型识别三部分构成；所述数据处理部分用于实现强度校正和点云上采样，强度校正提供高精度强度图像，点云上采样提供高分辨率三维数据；所述特征提取部分基于校正后强度数据与上采样后的点云数据，提取强度分布特征与几何轮廓特征；所述类型识别将所述强度分布特征与几何轮廓特征作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类；
本实施例的实施步骤如下：
(1)强度校正：根据激光雷达系统参数(如探测器性能、光学接收设计性能)，选取距离效应校正函数与入射角效应校正函数；基于测试数据估计所述校正函数参数，记为距离效应函数fdis(R)与入射角效应函数fagl(θ)；对激光雷达系统采集的原始强度数据Iraw，基于所述距离效应函数与入射角效应函数，获取校正强度数据Icor，即Rs为标定参考距离，θs为标定参考入射角；
(2)点云上采样：根据激光雷达所采集三维原始点云(xo,yo,zo)，实现离散点云空间插值，空间插值点与原始点云并集形成插值点云(xn,yn,zn)，所述插值点云的强度数据定义为插值强度数据Inew；所述插值强度数据Inew可由邻域点云的校正强度数据Icor估计；
(3)强度分布特征提取：根据上采样后标志牌上所有的强度数据Inew，建立不等间隔强度分布频率直方图，作为所述分类器的点云强度分布特征输入；
(4)几何轮廓特征提取：基于所述插值点云(xn,yn,zn)，实现三维点云至二维图像的映射，提取所述二维图像外轮廓，解算外轮廓标记图，标记图波谷数量定义为所述点云几何轮廓特征；
(5)标志牌样式分类模型：基于所述强度分布特征和所述几何轮廓特征，构建交通标志牌样本的特征向量；多个样本的所述特征向量构成BP神经网络的输入，可用于训练BP神经网络；所述训练后的BP神经网络可实现交通标志牌样式分类。
在步骤(1)强度校正中，本实施例选取多项式函数作为距离效应校正函数fdis(R)，并通过如下步骤确定fdis(R)参数：
1)获取参考反射率漫反射板在不同距离处的激光雷达强度原始强度数据，保持扫描角度接近0，记录不同距离下的三维点云数据与强度数据；
2)计算所述漫反射板强度数据均值，确定所述强度数据均值随距离变化关系；
3)根据上述强度数据均值随距离变化关系，计算所述距离效应函数fdis(R)参数，确定所述距离效应函数fdis(R)分段拐点；所述距离效应函数fdis(R)可采用分段形式表达，所述分段函数拐点可通过所述强度数据均值随距离的变化率确定；所述距离效应函数fdis(R)拟合过程如图2所示，拟合结果如下式：
4)选取标定参考距离Rs＝15m，计算fdis(Rs)，为计算所述校正强度数据Icor提供标定距离参考。
在步骤(1)强度校正中，本实施例选取Blinn-Phong模型作为入射角效应函数fagl(θ)，即：
fagl(θ)＝kdcosθ+ks cosn(θ) (4)
其中，kd和ks分别为漫反射和镜面反射的比例，且kd+ks＝1，n∈[0,+∞]用于描述镜面高光的形状，n越大则目标表面越有光泽，可通过如下步骤确定fagl(θ)参数：
1)获取所述标定参考距离Rs＝15m在不同角度下数据，改变扫描角度，记录交通标志牌样本在不同入射角下的三维点云数据和强度数据；
2)计算所述交通标志牌样本的同质区域强度均值，所述同质区域指所述交通标志牌样本上颜色和材质相同的区域，确定所述同质区域强度均值随入射角变化关系；
3)根据上述同质区域强度均值随入射角变化关系，拟合所述入射角效应函数fagl(θ)参数，拟合结果为kd＝0.2，ks＝0.8，n＝0.1，fagl(θ)拟合过程如图2所示；
4)选取标定参考入射角θs＝0°，计算fagl(θs)，计算所述校正强度数据Icor。
在步骤(2)点云上采样中，本实施例按照以下方式建立插值点云(xn,yn,zn)及其对应的插值强度数据Inew，如图3所示：
1)针对激光雷达系统所采集三维原始点云(xo,yo,zo)，采用基于三角剖分的线性插值方法，实现三维离散点云插值，插值点和原始点并集形成插值点云(xn,yn,zn)；
2)取所述插值点云(xn,yn,zn)中一点作为查询点，在所述原始点云(xo,yo,zo)中查找所述查询点的最近邻点，查找最近邻点的数量取m＝3，所述第i个最近邻点与所述查询点的距离为Ri，所述第i个最近邻点校正强度值为Icor,i；
3)计算所述查询点强度值，即所述插值强度Inew,i
4)重复步骤2)～3)，直至求解完毕所述插值点云(xn,yn,zn)中所有点强度值，构成所述插值强度数据Inew。
在步骤(3)强度分布特征提取中，本实施例通过以下步骤建立强度分布特征，即所述不等间隔强度分布频率直方图：
1)绘制所述插值强度数据Inew频率直方图，当强度统计频率值超过0.6时，所含区域定义为频率直方图高频区域[Ilow,Ihigh]，Ilow和Ihigh为所述高频区域的上下边界；本实施例中Ilow＝100，Ihigh＝240。
2)所述不等间隔强度分布频率直方图，定义为对所述频率直方图高频区域[Ilow,Ihigh]，采用小划分间隔Δtsmall＝10重新划分所述高频区域，对所述高频区域以外区域，采用大划分间隔Δtlarge＝20重新划分，所组成的新直方图记为一维强度分布向量，即所述不等间隔强度分布频率直方图；
3)所述不等间隔强度分布频率直方图，或原始强度分布频率直方图、截断强度分布频率直方图、等间隔强度分布频率直方图，可作为所述点云强度分布特征，如图4所示，输入给BP神经网络。
在步骤(4)几何轮廓特征提取中，本实施例通过以下步骤建立所述点云几何轮廓特征：
1)计算旋转矩阵和平移矩阵，将所述插值点云所在坐标系由激光雷达坐标系统一为标志牌坐标系，坐标系转换后点云为标志牌坐标系点云；
2)采用主成分分析(PCA)方法，将所述标志牌坐标系点云由三维数据映射为二维图像数据；
3)对所述映射二维图像数据进行二值化处理，实现图像区域分割，提取交通标志牌区域；所述二值化处理方法，指选定全局阈值，所述全局阈值采用大津阈值法选取，超过该阈值对像素赋值255，未超过赋值0；
4)提取所述标志牌区域外轮廓，通过Roberts交叉算子检测图像灰度变化，灰度变化剧烈点的集合即为所述标志牌外轮廓；
5)对所述标志牌外轮廓，采用距离-角度函数标记图表征，所述距离-角度函数标记图指质心到边界线的距离相对于角度的函数；所述距离-角度函数标记图的波谷数即所述几何轮廓特征，如图5所示；交通标志牌外轮廓形状包括圆形，和/或三角形，和/或方形，和/或八边形，其所述波谷数分别为0，和/或3，和/或4，和/或8。
在步骤(5)标志牌样式分类模型中，本实施例涉及标志牌样本类型包括“限速80km/h”、“禁止驶入”、“直行和向右转弯”、“注意儿童”、“人行横道”、“线性诱导标”、“傍山险路”、“减速让行”、“解除限制速度40km/h”和“停车让行”，如图6所示；所述样本类型几何轮廓包括正等边三角形、圆形、倒等边三角形、八角形、方形；所述样本类型语义区域涂层颜色包括黑色和白色；所述样本类型背景区域涂层颜色包括白色、红色、蓝色和黄色。
本实施例采用机械旋转型扫描方式激光雷达采集点云数据，采用如下指标评估：
1)针对所述距离效应函数fdis(R)和所述入射角效应函数fagl(θ)，其拟合效果通过均方根误差(RMSE)评估；
2)针对所述校正强度数据Icor，其校正效果可通过变异系数评估；所述变异系数指所述交通标志牌同质区域强度值标准差与均值的比率；变异系数越小，所述同质区域强度一致性越高，校正效果越好；
3)针对所述插值强度数据Inew，其上采样效果可通过强度平均信息熵评估；所述强度平均信息熵可表达为
式中，Pi为所述插值强度数据Inew中第i级强度值出现的概率，m为所述插值强度数据Inew中最大值；所述强度平均信息熵越大，强度信息量越大，上采样效果越好；
4)针对标志牌样式分类结果，可用分类算法评价指标F1 Score进行评价；重复样本选取、网络训练和模型测试100次，将100次识别结果F1 Score的平均值作为最终的分类算法评价指标。
本实施例共采集10种类型标志牌在不同距离和入射角的点云数据，距离范围为4-15m，入射角范围为0-70°，每种类型标志牌采集样本数量为180，从采集的10种类型标志牌的1800个样本，随机选取1080个样本组成BP神经网络训练集，剩余的720个样本构成测试集。其中近距离采集点云数据为高密度点云数据，如图6所示；远距离采集点云数据为低密度点云数据，需要通过上述点云上采样方法，实现三维点云空间分辨率的提高，增强点云强度信息含量，为分类器提供更多有效输入。
本实施例中距离效应校正函数fdis(R)的均方根误差为0.3665，入射角效应函数fagl(θ)的均方根误差为0.177，拟合结果表明所选用距离效应校正函数和入射角效应函数对强度模型具有较好的拟合效果。本实施例中校正前后各类型标志牌的变异系数如表1所示，测试结果表明本实施例中所有标志牌类型在强度校正后变异系数均下降，同质区域强度一致性提升，验证了强度校正方法的有效性。
表1本实施例的强度校正结果
| 标志牌类型 | 强度校正前变异系数 | 强度校正后变异系数 |
| 限速80km/h | 0.0891 | 0.0526 |
| 禁止驶入 | 0.1367 | 0.0654 |
| 直行和向右转弯 | 0.0822 | 0.0573 |
| 注意儿童 | 0.1316 | 0.0807 |
| 人行横道 | 0.0967 | 0.0554 |
| 线性诱导标 | 0.0738 | 0.0608 |
| 傍山险路 | 0.1044 | 0.0929 |
| 减速让行 | 0.1073 | 0.0785 |
| 解除限制速度40km/h | 0.1009 | 0.0875 |
| 停车让行 | 0.0863 | 0.0500 |
本实施例中上采样前后各类型标志牌的强度平均信息熵如表2所示，测试结果表明，本实施例中10种类型的标志牌有9种在上采样后强度平均信息熵上升，说明上采样能使强度信息量增大，验证了点云上采样方法的有效性。
表2本实施例的上采样结果
本实施例中各类型标志牌的F1 Score如表3所示，测试结果表明，对本实施例所选用的十种类型的标志牌，Micro F1 Score可达0.9007，具有较好的分类效果。
表3本实施例的分类结果
以上所述，仅为本发明具体实施方法的基本方案，但本发明的保护范围并不局限于此，任何熟悉本技术领域的人员在本发明公开的技术范围内，可想到的变化与替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。所有落入权利要求的等同的含义和范围内的变化都将包括在权利要求的范围之内。
Claims (10)
1.一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法；其特征在于，激光雷达强度校正提供高精度强度图像，点云上采样提供高分辨率三维数据；基于校正后强度数据与上采样后的点云数据，提取强度特征与几何特征；所述强度特征与几何特征作为分类器的输入，实现基于激光雷达数据的交通标志牌智能分类；所述交通标志牌分类方法包括强度校正方法、点云上采样处理方法、强度分布特征提取方法、几何轮廓特征提取方法；所述强度校正方法针对激光雷达采集的原始强度数据，建立距离效应校正函数与角度(入射角)效应校正函数，提升所采集点云数据同质区域的强度一致性；所述点云上采样处理方法针对低密度点云，实现点云空间上采样与强度插值估计，提升点云强度信息丰度；所述强度分布特征提取方法，将标志牌上所有强度数据表征为一维强度分布向量，作为分类器特征输入之一；所述几何轮廓特征提取方法，将三维点云数据表征为几何轮廓代数表达，作为分类器特征输入之一；基于所述强度分布特征与所述几何轮廓特征，训练交通标志牌样式的分类器(分类模型)；
所述基于激光雷达强度校正与点云上采样的交通标志牌分类方法包括步骤：
(1)强度校正：根据激光雷达系统参数(如探测器性能、光学接收设计性能)，选取距离效应校正函数与入射角效应校正函数；基于测试数据估计所述校正函数参数，记为距离效应函数fdis(R)与入射角效应函数fagl(θ)；对激光雷达系统采集的原始强度数据Iraw，基于所述距离效应函数与入射角效应函数，获取校正强度数据Icor，即Rs为标定参考距离，θs为标定参考入射角；
(2)点云上采样：根据激光雷达所采集三维原始点云(xo,yo,zo)，实现离散点云空间插值，空间插值点与原始点云并集形成插值点云(xn,yn,zn)，所述插值点云的强度数据定义为插值强度数据Inew；所述插值强度数据Inew可由邻域点云的校正强度数据Icor估计；
(3)强度分布特征提取：根据上采样后标志牌上所有的强度数据Inew，建立强度分布频率直方图，作为所述分类器的点云强度分布特征输入；所述强度分布频率直方图，包括原始强度分布频率直方图，和/或截断强度分布频率直方图，和/或等间隔强度分布频率直方图，和/或不等间隔强度分布频率直方图；
(4)几何轮廓特征提取：基于所述插值点云(xn,yn,zn)，实现三维点云至二维图像的映射，提取所述二维图像外轮廓，解算外轮廓标记图，标记图波谷数量定义为所述点云几何轮廓特征；
(5)标志牌样式分类模型：基于所述强度分布特征和所述几何轮廓特征，构建交通标志牌样本的特征向量；多个样本的所述特征向量构成所述分类器的输入，可用于训练所述分类器；所述训练后的分类器可实现交通标志牌样式分类；所述分类器包括人工神经网络，和/或支持向量机，和/或最近邻，和/或高斯混合模型，和/或朴素贝叶斯，和/或决策树，和/或径向基函数分类。
2.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述距离效应函数fdis(R)可通过以下步骤确定：
1)获取参考反射率漫反射板在不同距离处的激光雷达强度原始强度数据，保持扫描角度相同，记录不同距离下的三维点云数据与强度数据；
2)计算所述漫反射板强度数据均值，确定所述强度数据均值随距离变化关系，选择合适的距离效应函数；所述距离效应函数fdis(R)可选取多项式函数，和/或反比函数，和/或指数函数；根据激光雷达系统特性，实现距离效应函数的合理选择；
3)根据上述强度数据均值随距离变化关系，计算所述距离效应函数fdis(R)参数，确定所述距离效应函数fdis(R)分段拐点；所述距离效应函数fdis(R)可采用分段形式表达，所述分段函数拐点可通过所述强度数据均值随距离的变化率确定；
4)选取标定参考距离Rs，计算fdis(Rs)，为计算所述校正强度数据Icor提供标定距离参考。
3.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述入射角效应函数fagl(θ)可通过如下步骤确定：
1)获取所述标定参考距离Rs在不同角度下数据，改变扫描角度，记录交通标志牌样本在不同入射角下的三维点云数据和强度数据；
2)计算所述交通标志牌样本的同质区域强度均值，所述同质区域指所述交通标志牌样本上颜色和材质相同的区域，确定所述同质区域强度均值随入射角变化关系，选择合适的角度效应函数；所述角度效应函数基于双向反射分布函数模型建立；所述双向反射分布函数模型包括理论模型，和/或经验模型，和/或半经验模型；所述双向反射分布函数理论模型可选Torrance-Sparrow模型，和/或Oren-Nayar模型等；所述双向反射分布函数经验模型可选Phong模型，和/或Blinn-Phong模型等；所述双向反射分布函数半经验模型可选Schlick模型等；
3)根据上述同质区域强度均值随入射角变化关系，拟合所述入射角效应函数fagl(θ)参数；
4)选取标定参考入射角θs，计算fagl(θs)，计算所述校正强度数据Icor。
4.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述强度校正函数与激光雷达系统设计相关；所述距离效应函数fdis(R)与受仪器特性影响，如自动增益控制、近距离衰减器以及系统散斑效应，所述入射角效应函数fagl(θ)受被测目标表面属性影响，如反射率以及粗糙度；所述距离效应校正效果与目标大小相关，即距离校正对大尺寸平面目标更为显著；所述角度效应校正效果与法线估计有关，多法线目标(如植被、汽车)法线估计不准确，入射角效应函数fagl(θ)校正效果不明显。
5.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述插值点云(xn,yn,zn)及其对应的插值强度数据Inew可通过以下步骤建立：
1)针对激光雷达系统所采集三维原始点云(xo,yo,zo)，采用三维散点数据插值方法，实现三维离散点云插值，插值点和原始点并集形成插值点云(xn,yn,zn)；所述三维散点数据插值方法包括基于三角剖分的线性插值，和/或基于三角剖分的最近邻点插值，和/或基于三角剖分的自然邻点插值，和/或基于三角剖分的三次插值，和/或Akima三次Hermite插值，和/或双调和样条插值等；
2)取所述插值点云(xn,yn,zn)中一点作为查询点，在所述原始点云(xo,yo,zo)中查找所述查询点的最近邻点，查找最近邻点的数量记为m，所述第i个最近邻点与所述查询点的距离为Ri，所述第i个最近邻点校正强度值为Icor,i；
3)计算所述查询点强度值，即所述插值强度Inew,i
4)重复步骤2)～3)，直至求解完毕所述插值点云(xn,yn,zn)中所有点强度值，构成所述插值强度数据Inew。
6.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述点云强度分布特征，即所述强度分布频率直方图，可通过以下步骤建立：
1)绘制所述插值强度数据Inew频率直方图，记为原始强度分布频率直方图；当强度统计频率值超过一定阈值时，所含区域定义为频率直方图高频区域[Ilow,Ihigh]，Ilow和Ihigh为所述高频区域的上下边界；作为分类器输入，需要选取划分间隔Δt，使所述强度分布频率直方图形成一维强度分布向量。
2)所述截断强度分布频率直方图，定义为选取所述原始强度分布频率直方图高频区域[Ilow,Ihigh]形成的一维强度分布向量；
3)所述等间隔强度分布频率直方图，定义为对所述原始强度分布频率直方图，整体采用相同分间隔Δt重新划分，使直方图划分间隔从原始的1变更为N＝round(256/Δt)，round(·)为求整。所组成的更新直方图记为一维强度分布向量；当Δt＝Δtsmall，所述更新直方图为小间隔强度分布频率直方图，当Δt＝Δtlarge，所述更新直方图为大间隔强度分布频率直方图；
4)所述不等间隔强度分布频率直方图，定义为对所述频率直方图高频区域[Ilow,Ihigh]，采用小划分间隔Δt＝Δtsmall重新划分所述高频区域，对所述高频区域以外区域，采用大划分间隔Δt＝Δtlarge重新划分，其中Δtsmall＜Δtlarge，所组成的新直方图记为一维强度分布向量，即所述不等间隔强度分布频率直方图；
5)选用所述原始强度分布频率直方图，或所述截断强度分布频率直方图，或所述等间隔强度分布频率直方图，或所述不等间隔强度分布频率直方图，作为所述点云强度分布特征，输入给所述分类器。
7.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述点云几何轮廓特征，可通过以下步骤建立：
1)计算旋转矩阵和平移矩阵，将所述插值点云所在坐标系由激光雷达坐标系统一为标志牌坐标系，坐标系转换后点云为标志牌坐标系点云；
2)采用数据降维方法，将所述标志牌坐标系点云由三维数据映射为二维图像数据；所述数据降维方法包括多维尺度变换(MDS)，和/或等距特征映射(ISOMAP)，和/或主成分分析(PCA)等；
3)对所述映射二维图像数据进行二值化处理，实现图像区域分割，提取交通标志牌区域；所述二值化处理方法，指选定全局阈值，所述全局阈值可采用大津阈值法选取，超过该阈值对像素赋值255，未超过赋值0；
4)提取所述标志牌区域外轮廓，通过梯度算子检测图像灰度变化，灰度变化剧烈点的集合即为所述标志牌外轮廓；所述梯度算子包括Roberts交叉算子，和/或Prewitt算子，和/或Sobel算子等；
5)对所述标志牌外轮廓，采用距离-角度函数标记图表征，所述距离-角度函数标记图指质心到边界线的距离相对于角度的函数；所述距离-角度函数标记图的波谷数即所述几何轮廓特征。
8.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述目标(交通标志牌)包括禁令标志、警告标志、指示标志、指路标志、旅游区标、道路施工安全标志、辅助标志等，具有以下属性：
1)所述交通标志牌几何轮廓包括正等边三角形、圆形、倒等边三角形、八角形、方形等；
2)所述交通标志牌区域可分为语义区域和背景区域；
3)所述交通标志牌语义区域涂层颜色包括但不限于黑色，和/或白色，和/或红色，所述语义区域涂层颜色影响近红外波段激光雷达强度分布状态；
4)所述交通标志牌背景区域涂层颜色包括但不限于白色，和/或红色，和/或蓝色，和/或黄色，和/或绿色，和/或棕色，所述背景区域涂层颜色影响近红外波段激光雷达强度分布状态；
5)交通标志牌语义区域和背景区颜色的选取，影响所述强度分布频率直方图形成与分类器输出结果。
9.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，方法可通过如下指标评估：
1)针对所述距离效应函数fdis(R)和所述入射角效应函数fagl(θ)，其拟合效果可通过回归评价指标评估；所述回归评价指标包括拟合优度(R-Squared)，和/或校正决定系数(Adjusted R-square)，和/或均方误差(MSE)，和/或均方根误差(RMSE)，和/或误差平方和(SSE)，和/或平均绝对误差(MAE)，和/或平均绝对百分比误差(MAPE)；
2)针对所述校正强度数据Icor，其校正效果可通过变异系数评估；所述变异系数指所述交通标志牌同质区域强度值标准差与均值的比率；变异系数越小，所述同质区域强度一致性越高，校正效果越好；
3)针对所述插值强度数据Inew，其上采样效果可通过强度平均信息熵评估；所述强度平均信息熵可表达为
式中，Pi为所述插值强度数据Inew中第i级强度值出现的概率，m为所述插值强度数据Inew中最大值；所述强度平均信息熵越大，强度信息量越大，上采样效果越好；
4)针对标志牌样式分类结果，可用分类算法评价指标进行评价；所述分类算法评价指标包括混淆矩阵，和/或准确率，和/或精确率，和/或召回率，和/或F1 Score，和/或P-R曲线，和/或接受者操作特征曲线(ROC)。
10.根据权利要求1所述的基于激光雷达强度校正与点云上采样的交通标志牌分类方法，其特征在于，所述激光雷达系统可采用机械旋转型扫描方式，或MEMS型扫描方式，或Flash型扫描方式，或相控阵型扫描方式(OPA)；所述不同扫描方式具有如下属性：
1)所述机械旋转型扫描方式通过旋转发射模块实现动态扫描，依靠加收发模块数量实现高线束，低线束时点云呈线状分布，空间分辨率低，影响所述点云上采样方法强度估计准确性；
2)所述MEMS型扫描方式通过旋转微振镜改变激光方向，可实现快速扫描，等效线束高于机械旋转型扫描方式，但大视场角需要多子视场拼接，所述多子视场拼接效果影响所述点云上采样方法空间插值准确性；
3)所述Flash型扫描方式能快速记录场景，但角分辨率低，影响所述点云上采样方法强度估计准确性；
4)所述相控阵型扫描方式采用电磁波相干原理，通过改变电流相位实现局部精细化扫描，但易形成旁瓣，使激光能量被分散，影响所述点云上采样方法强度估计准确性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298103.XA CN116468933A (zh) | 2023-03-24 | 2023-03-24 | 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310298103.XA CN116468933A (zh) | 2023-03-24 | 2023-03-24 | 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116468933A true CN116468933A (zh) | 2023-07-21 |
Family
ID=87172632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310298103.XA Pending CN116468933A (zh) | 2023-03-24 | 2023-03-24 | 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116468933A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765127A (zh) * | 2023-11-28 | 2024-03-26 | 中微物创智能科技(上海)有限公司 | 一种基于目标检测算法构建高精地图交通标志元素的方法 |
| CN118226421A (zh) * | 2024-05-22 | 2024-06-21 | 山东大学 | 基于反射率图的激光雷达-相机在线标定方法及系统 |
-
2023
- 2023-03-24 CN CN202310298103.XA patent/CN116468933A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765127A (zh) * | 2023-11-28 | 2024-03-26 | 中微物创智能科技(上海)有限公司 | 一种基于目标检测算法构建高精地图交通标志元素的方法 |
| CN118226421A (zh) * | 2024-05-22 | 2024-06-21 | 山东大学 | 基于反射率图的激光雷达-相机在线标定方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858460B (zh) | 一种基于三维激光雷达的车道线检测方法 | |
| US10388153B1 (en) | Enhanced traffic detection by fusing multiple sensor data | |
| Yang et al. | 3D local feature BKD to extract road information from mobile laser scanning point clouds | |
| Cheng et al. | Extraction and classification of road markings using mobile laser scanning point clouds | |
| CN116468933A (zh) | 一种基于激光雷达强度校正与点云上采样的交通标志牌分类方法 | |
| CN111666805B (zh) | 用于自动驾驶的类别标记系统 | |
| Yao et al. | Extraction and motion estimation of vehicles in single-pass airborne LiDAR data towards urban traffic analysis | |
| CN103065151B (zh) | 一种基于深度信息的车辆识别方法 | |
| Lee et al. | Stereo vision–based vehicle detection using a road feature and disparity histogram | |
| Yaghoobi Ershadi et al. | Robust vehicle detection in different weather conditions: Using MIPM | |
| CN110297232A (zh) | 基于计算机视觉的单目测距方法、装置及电子设备 | |
| CN107392929B (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
| CN105678287B (zh) | 一种基于脊度量的车道线检测方法 | |
| CN110826412B (zh) | 高速公路能见度检测系统和方法 | |
| CN116452852A (zh) | 一种高精度矢量地图的自动生成方法 | |
| CN112597839B (zh) | 基于车载毫米波雷达的道路边界检测方法 | |
| CN112990049A (zh) | 用于车辆自动驾驶的aeb紧急制动方法、装置 | |
| CN113219472B (zh) | 一种测距系统和方法 | |
| CN114299247A (zh) | 道路交通标志标线快速检测与问题排查方法 | |
| Liu et al. | Road classification using 3D LiDAR sensor on vehicle | |
| Barua et al. | An Efficient Method of Lane Detection and Tracking for Highway Safety | |
| CN116977970A (zh) | 一种基于激光雷达与毫米波雷达融合的道路可行驶区域检测方法 | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN116883664A (zh) | 遥感影像分割方法、装置、设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |