CN108932736B - 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 - Google Patents

二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 Download PDF

Info

Publication number
CN108932736B
CN108932736B CN201810539585.2A CN201810539585A CN108932736B CN 108932736 B CN108932736 B CN 108932736B CN 201810539585 A CN201810539585 A CN 201810539585A CN 108932736 B CN108932736 B CN 108932736B
Authority
CN
China
Prior art keywords
laser radar
point
points
robot
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810539585.2A
Other languages
English (en)
Other versions
CN108932736A (zh
Inventor
严萍
陈勇
李剑锋
史鑫
张馨怡
刘德亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang University
Original Assignee
Nanchang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang University filed Critical Nanchang University
Priority to CN201810539585.2A priority Critical patent/CN108932736B/zh
Publication of CN108932736A publication Critical patent/CN108932736A/zh
Application granted granted Critical
Publication of CN108932736B publication Critical patent/CN108932736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明公开了一种二维激光雷达点云数据处理方法,通过激光雷达扫描采集环境数据,进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割、特征提取、点云分割、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,利用摄像头的孔针模型与激光雷达进行三维坐标融合,使机器人根据偏差校准自身位姿。本发明同时公开了一种动态机器人位姿校准的方法,采用摄像头作为辅助检测传感器,融合激光雷达获取机器人实时位姿状态;与期望位姿状态进行比较,获得校准系统的调节量,并不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程。

Description

二维激光雷达点云数据处理方法以及动态机器人位姿校准 方法
技术领域
本发明涉及一种二维激光雷达点云数据处理方法/算法,及其应用于动态机器人位姿校准系统的设计。
背景技术
就目前的发展状况来看,智能机器人技术还面临着种种难题,为此出现了很多机器人赛事,其考查的重点之一就是智能机器人环境建模问题,环境建模是智能机器人实现环境信息交流的唯一渠道,因此技术突破势在必行。近年来,我国在交通、电力传输、建筑等行业应用的驱动下,激光雷达技术发展迅猛。激光雷达采集到的丰富的点云数据,信息量庞大,常用数据存储格式不统一,存储数据时存在种种不足,数据精度很难保证,因此,激光雷达点云数据的后处理一直是一个重要课题。
为了克服二维激光雷达信息量庞大,常用数据存储格式不统一,存储数据时存在种种不足,数据精度很难保证的问题,研究二维激光雷达作业流程,优化设计作业方案,是非常有意义的。
目前,二维激光雷达利用测距原理,能够准确感知机器人所处环境信息,在智能机器人导航、定位、避障、路径规划等研究领域受到了极大关注。研究点云数据处理的算法,能够更高效、实用地应用于机器人对环境信息的感知,为完成路径规划、地图构建、机器定位等功能提供技术支持。
发明内容
本发明针对现有技术不足,提出了一种二维激光雷达点云数据的有效处理方法,并采用二维激光雷达与摄像头融合的方法,实现二维激光雷达动态机器人位姿校准。
本发明所采用的技术方案:
一种二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此中心坐标获取的静态偏差,使机器人根据偏差校准自身位姿。
一种利用所述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法,首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:1)利用激光雷达扫描周围环境,获取DSM并使用算法处理获取机器人实时位姿状态;2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准系统的调节量;4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
本发明的有益效果:
1、本发明二维激光雷达点云数据处理方法/算法,结合二维激光雷达,研究了各种算法对点云数据进行去噪滤波、区域分割、特征提取、点云分割处理,解决了原始数据复杂和精度低的问题。
2、本发明开发设计了一个基于二维激光雷达的机器人位姿校准系统,封装、集成了点云数据处理模块、算法,能够实时检测机器人位姿,并及时反馈修正,效率高,能够更高效、实用地应用于机器人对环境信息的感知;并且保证在有雾,有霾等天气机器人能够获取位姿信息。
3、本发明二维激光雷达点云数据处理方法/算法,直线特征提取采用了动态阈值的解决方案,减小了下述情况的出现的概率:阈值dT影响特征提取效果,阈值dT过大会导致特征点提取遗漏。阈值dT过小会导致分割过密,二者都会影响直线拟合的效果,同时也加大了运算量。
4、本发明二维激光雷达点云数据处理方法/算法,包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,对直线和圆弧检测精度很高,利用霍夫变换成功的检测出了柱子并获取圆心坐标,并且其他非圆弧信息并未被误判,算法适应性较强。
附图说明
图1为本发明二维激光雷达点云数据处理方法/算法流程图;
图2为特征提取算法中Split-and-Merg直线特征提取步骤;
图3为激光雷达和摄像头坐标融合建模的针孔模型的坐标示意图;
图4为本发明动态机器人位姿校准系统设计硬件平台总体框图;
图5为本发明动态机器人位姿校准方法流程图。
具体实施方式
下面通过具体实施方式,对本发明的技术方案做进一步的详细描述。
实施例1
参见图1,本发明二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,其过程包括:
所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;一般情况下,扫描点的分布呈非均匀分布,距离激光雷达近的扫描点更加密集,而距离激光雷达远的扫描点密度更小;
所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;并且其他非圆弧信息未被误判,算法适应性较强;
所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此中心坐标获取的静态偏差,使机器人根据偏差校准自身位姿;摄像头根据此中心坐标获取对方飞盘在着陆台上的静态偏差,使机器人根据偏差校准自身位姿,以瞄准对方飞盘进行击盘任务。
实施例2
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与实施例1的不同之处在于:所述点云数据预处理算法,包括滤波算法、排除异常值和坐标变换;滤波算法、排除异常值能有效地消除环境中的干扰信息;坐标变换将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系;
1)采用的滤波算法如下:
由于环境的干扰,激光雷达返回的扫描数据中包括噪声。使用合适的滤波算法能有效地消除噪音。选定窗口宽度为7的中值滤波器,能将离散的点云数据中的噪声有效滤除,并且保留有用的原始数据边缘信息,从而使其周围的数据都能更加靠近真实值,以便于下一步算法处理,计算公式如下:
xmid=med{xi-s,...xi-1,xi,xi+1,...,xi+s}
其中s代表窗口大小,med{}代表取中值操作函数,xi代表激光雷达探测的单个数据,xmid代表中值滤波之后的数据。
2)坐标变换:
由于激光雷达采集得到的点云数据是以激光雷达为原点的极坐标点,而机器人位姿校准使用的是直角坐标系,通过以下关系式计算得到目标坐标:
X=ρ cosΘ
Y=ρ sinΘ
式中,ρ表示激光雷达扫描目标物体所测量到的目标点的距离信息,Θ表示其角度信息;(X,Y)表示目标物体在以机器人为中心的直角坐标系中的坐标,单位mm。
实施例3
参见图1,本实施例的二维激光雷达点云数据处理方法,与实施例2的不同之处在于:所述区域分割算法,设当某一扫描点A距离激光雷达中心点O为D时,设定分割距离阈值为d,则当扫描点距离激光雷达中心为3D时,阈值调整为3d;根据实际应用情况也可以选用非线性函数来定义自适应分割阈值;采用的区域分割算法如下:
a、计算点集中连续两点间的距离
Figure BDA0001678990280000051
b、判断Dj和阈值θ的关系,
如果Dj,大于阈值θ,则认为点(x,y)是两个区域的分割点,阈值的选择一般按照动态阈值的方式。按照上述步骤一步步进行后,最终可以分割出N个相互间没有连接的区域{Al,A2...AN};
c、判断每个区域内数据点的个数,如果某个区域包含数据点的个数小于等于N个,那么该区域被视为噪声区域,舍弃这些噪声点,不进行处理;
激光雷达有效测距距离为A,角度分辨率为B,则相邻扫描点之间的距离最小为C:
C=2×A×sinB
根据该值设定合适的分隔阈值;
利用OpenCV对不同的区域用不同的颜色进行显示分割(同一种颜色并不代表在同一区域,只是颜色有限,几种颜色在循环使用),不同特征的物体,被分别分割出来,为后续的提取做好铺垫。
实施例4
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与前述各实施例的不同之处在于:所述特征提取算法包括直线提取算法和圆弧特征提取算法:
1)直线提取算法
直线特征提取中采取Split-and-Merge算法,设区域ai的第一个点和最后一个点分别为ks(Xs,Ys)和ke(Xe,Ye);两点之间的连线为L,连线长度为da;区域ali内点Mk到L的距离记dk,设点到L距离的阈值为dT,如果dk>dT,则以点pk为分割点将区域ali分成两部分;否则,不进行分割,并采用最小二乘法对ali中的激光数据点进行直线拟合,求取直线参数(k,b);重复上述步骤,直到这个区域内的所有直线特征提取完成。
阈值dT影响特征提取效果,阈值dT过大会导致特征点提取遗漏。阈值dT过小会导致分割过密,二者都会影响直线拟合的效果,同时也加大了运算量。本发明采用了动态阈值的解决方案,将会减小上述情况的出现的概率。
实线表示区域点集,选取L=dT;根据提取特征的首末点长度,判断是否拟合区域内数据点是否可以拟合为一条线段;区域内的所有数据点都均匀分布于其周围,线段拟合结果较好;而在区域内选取L=dT,相对于同一条拟合直线区域内点的分布太分散导致拟合线段的结果较差。综上所述,如果根据激光雷达数据点集区域端点之间连线长度dL的大小来选取动态的阈值dT,在一定程度能提高算法线段拟合的效果;
2)圆弧特征提取算法
完成区域分割后,将激光雷达扫描的数据分为几个块区,每个块区主要包含撕裂点(BreakPoint)、角点(Corner)、直线、圆弧几个重要的特征;
Hough变换,采用一种类似于投票的机制,某一参数获得的票数越多,则存在圆弧的概率越大。利用前文已将点云图进行区域分割,分成的多个点集,分别进行Hough变换,可减少处理数据,方便地计算圆弧的位置与半径。
设点云图中有一点(X,Y),存在无数个圆会经过该点,每个圆对应一组(a,b,R)参数;设立一个票箱,将所有可能的(a,b,R)参数放入其中,当某组参数出现一次,票箱中的票数+1;将所有点都扫描后,查看票箱数目,票数最多的点即为圆出现概率最大的点。设定一个阈值,若最多的票数小于该阈值,则认为此区域不存在圆,否则认为圆存在。该方法准确,实用性强。
实施例5
参见图1、图2,本实施例的二维激光雷达点云数据处理方法,与实施例4的不同之处在于:所述的点云分割算法包括聚类分割算法和随机抽样一致性算法:
1)聚类分割算法:
聚类分割的基本原理为:假设存在m个数据点,在m维空间内,设定点与点之间的一个特征距离;假如m个数据点分为n类(n≤m),同时将距离最小的两类合并;然后再计算类与类之间的距离;迭代上述过程,最后完成分割的时候,需要满足任意两类间的距离都大于设定的阈值,或者类的个数小于指定的数目;
聚类的分割方法一般为两步:首先根据点云数据特征识别聚类模式,然后将具有相同模式的点云分割在一起;在聚类方法中每个点都与一个特征向量相关联,特征向量又包含了若干个几何或者辐射度量值;然后,在特征空间中通过聚类的方法(如K-mean法、最大似然方法和模糊聚类法)分割点云数据。
2)随机抽样一致性算法:
随机抽样一致性算法的基本思想:针对具体的问题进行参数估计的时候,首先需要设定一个判断准则,再利用判断准则不断删除与估计的参数不一致的数据,迭代使用判断准则,然后通过剔除之后的有效输入数据来估计准确的参数,它规定在满足一定的置信概率时,基本子集的最小抽样数M与取得至少一个正确子集的概率P(P>ε)满足如下关系:
P=(1-(1-ε)m)M
其中,ε为错误的数据概率,m为参数估计的最小数据量;
RANSAC方法在点云分割中主要是应用在区域生长的方法中,嵌入这种方法减小噪声影响,节省时间。对于给定数目为m的点集Q,随机选取能够构造种子面最低参数要求的n(n≤m)个数据点,建立种子面参数模型S,以平面模型为例:
(1)计算最小抽样数M;
(2)利用求概率P公式从数据集合中选择m个点(m=3),计算模型ax+by+cz+d=0的参数;
(3)根据点到平面模型的距离d=|ax+by+cz+d|,设定一个阈值δ=|dt|;
(4)计算所有点到平面模型的距离,如果d满足0≤|d|≤|dt|,将点归为有效点,否则归为无效点;
(5)重复(2)到(4)的步骤M次,统计每次分类后有效点的数目,选择有效点最多时对应的平面参数为最终的平面分割结果。
实施例6
参见图1、图2、图3,本实施例的二维激光雷达点云数据处理方法,与前述各实施例的不同之处在于:所述的二维激光雷达与摄像头融合算法,过程如下:
以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标;首先将摄像头与激光雷达固定在一个支架上,通过移动目标物体或是支架,读取图像上的着陆台中心坐标和激光雷达测得的柱子圆心坐标,然后通过解超定方程组求出M矩阵;保持之前摄像头和激光雷达的相对位置关系,将激光雷达圆心坐标与M矩阵进行运算即可得到当前柱子中心坐标在摄像头图像上的像素坐标;
采用针孔模型方法,实现将激光雷达所在的三维空间坐标系中的物体投影到成像平面的转换;建立激光雷达与摄像头坐标系,设一目标物体为点P(Xl,Yl,Zl),其在摄像头视图坐标系下,坐标表示为P(Xc,Yc,Zc);在摄像头成像坐标系中,用坐标P(X,Y)表示,设摄像头成像系统焦距为f;整个成像过程就是物体三维空间坐标在以上坐标系之间的转换过程;
物体点P从激光雷达坐标系到摄像头像素坐标系的整体变换公式如下:
Figure BDA0001678990280000081
其中,K为摄像机内参数矩阵,[R t]为摄像机外参数矩阵,M为投影矩阵;
利用摄像头的理想变换模型,可以简化得到如下转换关系式:
Figure BDA0001678990280000082
Figure BDA0001678990280000083
即求得M矩阵后,激光雷达采集到的目标物体坐标经上式便可得到其在摄像头上的对应像素坐标,完成两传感器坐标融合,实现激光雷达为摄像头提供检测ROI区域与图像中心坐标。
实施例7
参见图4,图5。本实施例为利用前述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法的具体实施方式,实现动态机器人位姿校准。
如图4所示,一块稳压电源板输出稳定电压24V、12V、5V,分别为底盘电机、miniPC和激光雷达、主控板和摄像头提供驱动电源。摄像头与激光雷达分别使用USB和以太网口与miniPC进行数据通信。miniPC负责完成激光雷达单独检测机器人位姿程序运行,同时也负责摄像头检测飞盘并与激光雷达融合检测输出击打飞盘机器人所需位姿状态。miniPC通过有线串口与主控进行数据通信,由此主控可获得激光雷达与融合检测的机器人位姿调节量。
主控根据位姿调节量,校准机器人位姿。设计步骤如下:
首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:
1)利用激光雷达扫描周围环境,获取DSM(数字表面模型)并使用算法处理获取机器人实时位姿状态;
2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;
3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准系统的调节量;
4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;
5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;
6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
实施例8
参见图4、图5,本实施例的动态机器人位姿校准的方法,与实施例7不同的是:
步骤1)包括两个步骤:
a、二维激光雷达点云数据采集,即雷达采集原始点云数据发送到电脑/终端;
b、点云数据处理,即:基于步骤a雷达采集的DSM(数字表面模型),进行去噪滤波、区域分割、点云分割、特征提取。得到初步机器人实时位姿信息;
所述步骤2)包括两个步骤:
c、数据采集;
d、坐标转换,即以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标,并解超定方程组求出M矩阵。
为了保证步骤c数据的准确,摄像头的分辨率要在960p以上。
为了保证步骤d数据的准确,理论上6个标定点就可以求出M矩阵各元素值。实际求取过程中,由于标定存在一定的误差,使用6个以上标定点进行标定,通过解超定方程组降低误差。

Claims (8)

1.一种二维激光雷达点云数据处理方法,对通过激光雷达扫描采集的环境原始数据首先进行点云数据预处理,将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系,然后采用区域分割算法、特征提取算法、点云分割算法、二维激光雷达和摄像头融合检测算法实现对环境信息的有效检测识别,其特征在于:
所述的区域分割算法的使用判定方法为:如果连续的两个扫描点距离小于某一阈值,则将这两个扫描点归于同一个区块;对比连续的两个扫描点,如果它们的距离大于某一阈值,连续的数据就从这个扫描点分割开;最后,把一帧完整的点云数据分割成为几个区块;
所述的特征提取算法包括Split-and-Merge的直线特征提取算法和霍夫变换的圆弧特征提取算法,利用霍夫变换获取圆心坐标;
所述的二维激光雷达和摄像头融合检测算法,利用摄像头的孔针模型与激光雷达进行三维坐标融合;根据此模型获取转换矩阵,再将参数矩阵在程序中与激光雷达圆心数据进行融合,使激光雷达得到的圆心坐标在摄像头图像坐标系中找到对应的像素点;摄像头根据此圆心坐标获取的静态偏差,使机器人根据偏差校准自身位姿。
2.根据权利要求1所述的二维激光雷达点云数据处理方法,其特征在于:所述点云数据预处理算法,包括滤波算法、排除异常值和坐标变换;滤波算法、排除异常值能有效地消除环境中的干扰信息;坐标变换将以激光雷达为坐标点的极坐标系转换为机器人位姿校准时使用的直角坐标系;
1)采用的滤波算法如下:
选定窗口宽度为7的中值滤波器,能将离散的点云数据中的噪声有效滤除,并且保留有用的原始数据边缘信息,从而使其周围的数据都能更加靠近真实值,以便于下一步算法处理,计算公式如下:
xmid=med{xi-s,...xi-1,xi,xi+1,...,xi+s}
其中s代表窗口大小,med{}代表取中值操作函数,xi代表激光雷达探测的单个数据,xmid代表中值滤波之后的数据;
2)坐标变换:
由于激光雷达采集得到的点云数据是以激光雷达为原点的极坐标点,而机器人位姿校准使用的是直角坐标系,通过以下关系式计算得到目标坐标:
X=ρ cosΘ
Y=ρ sinΘ
式中,ρ表示激光雷达扫描目标物体所测量到的目标点的距离信息,Θ表示其角度信息;(X,Y)表示目标物体在以机器人为中心的直角坐标系中的坐标,单位mm。
3.根据权利要求2所述的二维激光雷达点云数据处理方法,其特征在于:设当某一扫描点距离激光雷达中心点O为D时,设定分割距离阈值为d,则当扫描点距离激光雷达中心为3D时,阈值调整为3d;根据实际应用情况也可以选用非线性函数来定义自适应分割阈值;采用的区域分割算法如下:
a、计算点集中连续两点间的距离
Figure FDA0003668058840000021
b、判断Dj和阈值θ的关系,
如果Dj,大于阈值θ,则认为点(x,y)是两个区域的分割点,阈值的选择一般按照动态阈值的方式;
按照上述步骤一步步进行后,最终可以分割出N个相互间没有连接的区域{Al,A2...AN};
c、判断每个区域内数据点的个数,如果某个区域包含数据点的个数小于等于N个,那么该区域被视为噪声区域,舍弃这些噪声点,不进行处理;
激光雷达有效测距距离为A,角度分辨率为B,则相邻扫描点之间的距离最小为C:
C=2×A×sinB
根据该值设定合适的分隔阈值;
利用OpenCV对不同的区域用不同的颜色进行显示分割,不同特征的物体,被分别分割出来,为后续的提取做好铺垫。
4.根据权利要求1、2或3所述的二维激光雷达点云数据处理方法,其特征在于:所述特征提取算法包括直线提取算法和圆弧特征提取算法:
1)直线提取算法
直线特征提取中采取Split-and-Merge算法,设区域ali的第一个点和最后一个点分别为ks(Xs,Ys)和ke(Xe,Ye);两点之间的连线为L,连线长度为da;区域ali内点Mk到L的距离记dk,设点到L距离的阈值为dT,如果dk>dT,则以点pk为分割点将区域ali分成两部分;否则,不进行分割,并采用最小二乘法对ali中的激光数据点进行直线拟合,求取直线参数;
重复上述步骤,直到这个区域内的所有直线特征提取完成;
实线表示区域点集,选取L=dT;根据提取特征的首末点长度,判断拟合区域内数据点是否可以拟合为一条线段;区域内的所有数据点都均匀分布于其周围,线段拟合结果较好;而在区域内选取L=dT,相对于同一条拟合直线区域内点的分布太分散导致拟合线段的结果较差;根据激光雷达数据点集区域端点之间连线长度da的大小来选取动态的阈值dT,在一定程度能提高算法线段拟合的效果;
2)圆弧特征提取算法
完成区域分割后,将激光雷达扫描的数据分为几个块区,每个块区包含撕裂点、角点、直线、圆弧几个重要的特征;
设点云图中有一点,存在无数个圆会经过该点,每个圆对应一组(a,b,R)参数;设立一个票箱,将所有可能的(a,b,R)参数放入其中,当某组参数出现一次,票箱中的票数+1;将所有点都扫描后,查看票箱数目,票数最多的点即为圆出现概率最大的点;设定一个阈值,若最多的票数小于该阈值,则认为此区域不存在圆,否则认为圆存在。
5.根据权利要求1所述的二维激光雷达点云数据处理方法,其特征在于:所述的点云分割算法包括聚类分割算法和随机抽样一致性算法:
1)聚类分割算法:
假设存在m个数据点,在m维空间内,设定点与点之间的一个特征距离;假如m个数据点分为n类,所述n≤m,同时将距离最小的两类合并;然后再计算类与类之间的距离;迭代上述过程,最后完成分割的时候,需要满足任意两类间的距离都大于设定的阈值,或者类的个数小于指定的数目;
聚类的分割方法一般为两步:首先根据点云数据特征识别聚类模式,然后将具有相同模式的点云分割在一起;在聚类方法中每个点都与一个特征向量相关联,特征向量又包含了若干个几何或者辐射度量值;然后,在特征空间中通过聚类的方法分割点云数据;
2)随机抽样一致性算法:
针对具体的问题进行参数估计的时候,首先需要设定一个判断准则,再利用判断准则不断删除与估计的参数不一致的数据,迭代使用判断准则,然后通过剔除之后的有效输入数据来估计准确的参数,它规定在满足一定的置信概率时,基本子集的最小抽样数M与取得至少一个正确子集的概率P满足如下关系,P>ε:
P=(1-(1-ε)m)M
其中,ε为错误的数据概率,m为参数估计的最小数据点;
对于给定数目为m的点集Q,随机选取能够构造种子面最低参数要求的n个数据点,n≤m,建立种子面参数模型S,以平面模型为例:
(1)计算最小抽样数M;
(2)利用求概率P公式从数据集合中选择m个点,m=3,计算模型Ax+By+Cz+d=0的参数;
(3)根据点到平面模型的距离d=|Ax+By+Cz+d|,设定一个阈值δ=|dt|;
(4)计算所有点到平面模型的距离,如果d满足0≤|d|≤|dt|,将点归为有效点,否则归为无效点;
(5)重复(2)到(4)的步骤M次,统计每次分类后有效点的数目,选择有效点最多时对应的平面参数为最终的平面分割结果。
6.一种利用权利要求1所述二维激光雷达点云数据处理方法实现动态机器人位姿校准的方法,首先将激光雷达与摄像头与机器人固连,且摄像头与雷达相对位置不变;其次,通过以下步骤进行动态机器人位姿校准:
1)利用激光雷达扫描周围环境,获取DSM并使用算法处理获取机器人实时位姿状态;
2)摄像头图像融合,即摄像头作为辅助检测传感器,融合于激光雷达以获取更精确的机器人实时位姿状态;
3)将检测获取的机器人实时位姿状态数据,与期望位姿状态进行比较,获得校准系统的调节量;
4)利用机器人运动或发射机构,执行位姿校准,得到一个新的机器人位姿;
5)激光雷达实时检测当前位姿状态,反馈至执行机构再一次进行校准;
6)如此循环,令机器人不断进行校准,直到激光雷达检测到的机器人位姿与期望位姿的偏差量小于某一阈值,则完成整个闭环位姿校准过程,最终达到期望位姿。
7.根据权利要求6所述的动态机器人位姿校准的方法,其特征在于:步骤1)包括:
a、二维激光雷达点云数据采集,即雷达采集原始点云数据发送到电脑/终端;
b、点云数据处理,即:基于步骤a雷达采集的DSM,进行去噪滤波、区域分割、点云分割、特征提取;得到初步机器人实时位姿信息。
8.根据权利要求6或7所述的动态机器人位姿校准的方法,其特征在于:步骤2)包括:
c、数据采集;
d、坐标转换,即以激光雷达的坐标作为世界坐标,利用摄像头的孔针模型将物体的世界坐标转换到摄像头的图像坐标,并解超定方程组求出投影矩阵。
CN201810539585.2A 2018-05-30 2018-05-30 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 Active CN108932736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810539585.2A CN108932736B (zh) 2018-05-30 2018-05-30 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810539585.2A CN108932736B (zh) 2018-05-30 2018-05-30 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法

Publications (2)

Publication Number Publication Date
CN108932736A CN108932736A (zh) 2018-12-04
CN108932736B true CN108932736B (zh) 2022-10-11

Family

ID=64449645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810539585.2A Active CN108932736B (zh) 2018-05-30 2018-05-30 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法

Country Status (1)

Country Link
CN (1) CN108932736B (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584183B (zh) * 2018-12-05 2020-05-29 吉林大学 一种激光雷达点云去畸变方法及系统
CN109709801B (zh) * 2018-12-11 2024-02-02 智灵飞(北京)科技有限公司 一种基于激光雷达的室内无人机定位系统及方法
CN109859274A (zh) * 2018-12-24 2019-06-07 深圳市银星智能科技股份有限公司 机器人、其物体标定方法及视教交互方法
CN111443692A (zh) * 2018-12-27 2020-07-24 北京奇虎科技有限公司 机器人避障处理方法、电子设备及计算机可读存储介质
CN109799513B (zh) * 2019-01-04 2023-06-23 广西大学 一种基于二维激光雷达数据中直线特征的室内未知环境定位方法
CN109784333B (zh) * 2019-01-22 2021-09-28 中国科学院自动化研究所 基于点云带权通道特征的三维目标检测方法及系统
CN109765901A (zh) * 2019-02-18 2019-05-17 华南理工大学 基于线激光与双目视觉的动态代价地图导航方法
CN109696168A (zh) * 2019-02-27 2019-04-30 沈阳建筑大学 一种基于激光传感器的移动机器人几何地图创建方法
CN109737968B (zh) * 2019-03-07 2022-11-15 中山大学 基于二维LiDAR和智能手机的室内融合定位方法
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及系统
CN109760064A (zh) * 2019-03-25 2019-05-17 广东电网有限责任公司 一种移动机器人自身位置的调整方法和装置
CN109933075A (zh) * 2019-04-12 2019-06-25 成都宇俊盛科技有限公司 一种用于全自动无人轨道车辆的单线激光雷达测障方法
FR3095606B1 (fr) * 2019-05-03 2021-12-24 I Mc Procédé et dispositif pour le contrôle d’une pièce en cours de fabrication
CN109991618A (zh) * 2019-05-13 2019-07-09 上海理工大学 一种嵌入式轮椅式护理床及其自动对接方法
CN109920011B (zh) * 2019-05-16 2020-01-10 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110082781B (zh) * 2019-05-20 2021-12-17 东北大学秦皇岛分校 基于slam技术与图像识别的火源定位方法及系统
CN110108269B (zh) * 2019-05-20 2023-01-17 电子科技大学 基于多传感器数据融合的agv定位方法
CN110142805A (zh) * 2019-05-22 2019-08-20 武汉爱速达机器人科技有限公司 一种基于激光雷达的机器人末端校准方法
CN110188696B (zh) * 2019-05-31 2023-04-18 华南理工大学 一种水面无人装备多源感知方法及系统
CN110412596A (zh) * 2019-07-10 2019-11-05 上海电机学院 一种基于图像信息和激光点云的机器人定位方法
CN110554696B (zh) * 2019-08-14 2023-01-17 深圳银星智能集团股份有限公司 机器人系统、机器人及基于激光雷达的机器人导航方法
CN110736456B (zh) * 2019-08-26 2023-05-05 广东亿嘉和科技有限公司 稀疏环境下基于特征提取的二维激光实时定位方法
CN110780305B (zh) * 2019-10-18 2023-04-21 华南理工大学 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法
CN110794223A (zh) * 2019-11-13 2020-02-14 中国船舶重工集团公司第七二四研究所 基于工业机器人的数字多通道雷达天线标校系统及方法
CN110873883B (zh) * 2019-11-29 2023-08-29 上海有个机器人有限公司 融合激光雷达和imu的定位方法、介质、终端和装置
CN111359913A (zh) * 2019-12-06 2020-07-03 雷传栋 一种通过激光雷达分选矿石的方法
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法
CN111161353B (zh) * 2019-12-31 2023-10-31 深圳一清创新科技有限公司 车辆定位方法、装置、可读存储介质和计算机设备
CN111192328B (zh) * 2019-12-31 2023-06-02 芜湖哈特机器人产业技术研究院有限公司 基于二维激光雷达的车厢容器三维扫描系统点云处理方法
CN111238496B (zh) * 2020-01-14 2022-04-22 深圳市锐曼智能装备有限公司 机器人位姿确认方法、装置、计算机设备及存储介质
CN111340834B (zh) * 2020-03-10 2023-05-12 山东大学 基于激光雷达和双目相机数据融合的衬板装配系统及方法
CN113748357B (zh) * 2020-03-27 2023-06-30 深圳市速腾聚创科技有限公司 激光雷达的姿态校正方法、装置和系统
CN113748693B (zh) * 2020-03-27 2023-09-15 深圳市速腾聚创科技有限公司 路基传感器的位姿校正方法、装置和路基传感器
CN111115300B (zh) * 2020-03-31 2020-06-30 上海驭矩信息科技有限公司 一种自动化集装箱装卸装置及方法
CN111515945A (zh) * 2020-04-10 2020-08-11 广州大学 机械臂视觉定位分拣抓取的控制方法、系统及装置
CN111522022B (zh) * 2020-04-20 2023-03-28 西安电子科技大学 基于激光雷达的机器人进行动态目标检测方法
CN111624622B (zh) * 2020-04-24 2023-05-02 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111694009B (zh) * 2020-05-07 2023-07-11 南昌大学 一种定位系统、方法以及装置
CN111610523B (zh) * 2020-05-15 2023-11-07 浙江工业大学 一种轮式移动机器人的参数校正方法
CN113740355B (zh) * 2020-05-29 2023-06-20 清华大学 一种射线检测机器人的边界防护方法及系统
CN111854697B (zh) * 2020-06-22 2021-08-10 中国船舶重工集团公司第七一六研究所 基于视觉传感器的识别定位定姿系统
CN111813135B (zh) * 2020-06-29 2023-03-31 西南电子技术研究所(中国电子科技集团公司第十研究所) 双坐标系全空域阵列波束跟踪方法
CN112070770B (zh) * 2020-07-16 2022-11-01 国网安徽省电力有限公司超高压分公司 一种高精度三维地图与二维栅格地图同步构建方法
CN111812668B (zh) * 2020-07-16 2023-04-14 南京航空航天大学 绕机检查装置及其定位方法、存储介质
CN112082491A (zh) * 2020-09-11 2020-12-15 苏州杰锐思智能科技股份有限公司 基于点云的高度检测方法
CN112198491B (zh) * 2020-09-30 2023-06-09 广州赛特智能科技有限公司 一种基于低成本二维激光雷达的机器人三维感知系统及其方法
TWI751735B (zh) * 2020-10-12 2022-01-01 財團法人工業技術研究院 自走車跟隨系統及自走車跟隨方法
CN112215867A (zh) * 2020-10-23 2021-01-12 劢微机器人科技(深圳)有限公司 点云数据分割方法、设备、存储介质及装置
CN112102620A (zh) * 2020-11-09 2020-12-18 南京慧尔视智能科技有限公司 一种雷达与球机联动的监测方法
CN112465908B (zh) * 2020-11-30 2023-09-22 深圳市优必选科技股份有限公司 一种物体定位方法、装置、终端设备及存储介质
CN112987010A (zh) * 2021-01-28 2021-06-18 上海思岚科技有限公司 一种用于机器人的多雷达建图的系统及方法
CN113256729A (zh) * 2021-03-17 2021-08-13 广西综合交通大数据研究院 激光雷达与相机的外参标定方法、装置、设备及存储介质
CN113064576A (zh) * 2021-04-09 2021-07-02 北京云迹科技有限公司 一种音量调节方法、装置、可移动设备及存储介质
CN113534110B (zh) * 2021-06-24 2023-11-24 香港理工大学深圳研究院 一种多激光雷达系统静态标定方法
CN113436274B (zh) * 2021-06-28 2022-08-23 兰剑智能科技股份有限公司 一种移动机器人的校准方法、装置及设备
CN113379732B (zh) * 2021-07-07 2022-12-02 群周科技(上海)有限公司 一种基于机载激光雷达的线缆目标检测方法
WO2023016392A1 (en) * 2021-08-09 2023-02-16 Zhejiang Huaray Technology Co., Ltd. Systems and methods for pose determination of a mobile subject
CN114115231B (zh) * 2021-10-25 2023-07-25 南京工业大学 移动机器人空间位姿点云校正方法及系统
CN114179851B (zh) * 2021-12-07 2024-02-13 南京理工大学 一种铁路设备限界检测装置及方法
CN116413702A (zh) * 2021-12-30 2023-07-11 上海禾赛科技有限公司 激光雷达位姿的诊断方法、激光雷达及自动驾驶车辆
CN114758504B (zh) * 2022-06-13 2022-10-21 之江实验室 一种基于滤波校正的网联车超速预警方法及系统
CN114895625B (zh) * 2022-07-13 2022-09-27 上海航天壹亘智能科技有限公司 基于多传感器信息融合的控制装置、方法及数控机床
CN115542340B (zh) * 2022-12-01 2023-05-05 广东工业大学 基于距离已知参照物的路侧双固态激光雷达点云融合方法
CN115930791B (zh) * 2022-12-02 2024-01-12 湖北润铁轨道装备有限公司 一种多模态数据的集装箱货物位置与尺寸检测方法
CN116540260A (zh) * 2023-04-20 2023-08-04 中国人民解放军国防科技大学 一种基于单线激光雷达的三维成像方法、系统及介质
CN116443527B (zh) * 2023-06-13 2023-09-08 上海木蚁机器人科技有限公司 基于激光雷达的托盘叉取方法、装置、设备和介质
CN117314903B (zh) * 2023-11-28 2024-03-15 四川港投云港科技有限公司 一种大宗商品室内仓储激光雷达3d点云数据处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101223184B1 (ko) * 2012-09-14 2013-01-21 (주)선영종합엔지니어링 등거리 관측을 이용한 수준측량 시스템
CN106444757A (zh) * 2016-09-27 2017-02-22 成都普诺思博科技有限公司 基于直线特征地图的ekf‑slam算法
CN107991683A (zh) * 2017-11-08 2018-05-04 华中科技大学 一种基于激光雷达的机器人自主定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803055B2 (en) * 2009-01-09 2014-08-12 Automated Precision Inc. Volumetric error compensation system with laser tracker and active target

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101223184B1 (ko) * 2012-09-14 2013-01-21 (주)선영종합엔지니어링 등거리 관측을 이용한 수준측량 시스템
CN106444757A (zh) * 2016-09-27 2017-02-22 成都普诺思博科技有限公司 基于直线特征地图的ekf‑slam算法
CN107991683A (zh) * 2017-11-08 2018-05-04 华中科技大学 一种基于激光雷达的机器人自主定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《Point cloud registration with 2D and 3D fusion information on mobile robot integrated vision system》;Zhang Xu,et al;《2013 ROBIO》;20140317;第1187-1192页 *
《一种基于激光传感器的自适应直线提取算法》;徐君,等;《计算机工程与应用》;20131231;第49卷(第2期);第43-47页 *
《三维成像激光雷达图像与摄像机图像的融合》;林鸿生;《内燃机与动力装置》;20090630;第1-4页 *
《二维激光雷达室内定位数据预处理方法研究》;邹鑫慈,等;《矿山测量》;20170630;第45卷(第3期);第77-81页 *

Also Published As

Publication number Publication date
CN108932736A (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN108445480B (zh) 基于激光雷达的移动平台自适应扩展目标跟踪系统及方法
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
CN108828621A (zh) 基于三维激光雷达的障碍检测和路面分割算法
CN106774296A (zh) 一种基于激光雷达和ccd摄像机信息融合的障碍检测方法
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN111815717B (zh) 一种多传感器融合外参联合半自主标定方法
CN107796373B (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
CN115049700A (zh) 一种目标检测方法及装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN114972968A (zh) 基于多重神经网络的托盘识别和位姿估计方法
CN113205604A (zh) 一种基于摄像机和激光雷达的可行区域检测方法
CN116229408A (zh) 一种图像信息与激光雷达点云信息融合的目标识别方法
CN114488190A (zh) 一种激光雷达3d点云地面检测方法
CN115546741A (zh) 一种双目视觉和激光雷达无人艇海洋环境障碍物识别方法
CN117333846A (zh) 恶劣天气下基于传感器融合和增量学习的检测方法及系统
Deng et al. Joint calibration of dual lidars and camera using a circular chessboard
CN110208802B (zh) 融合多视图模糊推理赋值的障碍物检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
Chen et al. Object recognition and localization based on kinect camera in complex environment
CN117611762B (zh) 一种多层级地图构建方法、系统及电子设备
CN117523461B (zh) 一种基于机载单目相机的运动目标跟踪与定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant