CN113393509A - 一种激光雷达多径补偿方法 - Google Patents

一种激光雷达多径补偿方法 Download PDF

Info

Publication number
CN113393509A
CN113393509A CN202110937368.0A CN202110937368A CN113393509A CN 113393509 A CN113393509 A CN 113393509A CN 202110937368 A CN202110937368 A CN 202110937368A CN 113393509 A CN113393509 A CN 113393509A
Authority
CN
China
Prior art keywords
value
calculating
plane
multipath
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110937368.0A
Other languages
English (en)
Other versions
CN113393509B (zh
Inventor
王坤强
应忠建
杨金峰
张合勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Guangpo Intelligent Technology Co ltd
Original Assignee
Zhejiang Guangpo Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Guangpo Intelligent Technology Co ltd filed Critical Zhejiang Guangpo Intelligent Technology Co ltd
Priority to CN202110937368.0A priority Critical patent/CN113393509B/zh
Publication of CN113393509A publication Critical patent/CN113393509A/zh
Application granted granted Critical
Publication of CN113393509B publication Critical patent/CN113393509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种激光雷达多径补偿方法。为了克服现有技术多径补偿计算量大、受场地限制大的问题；包括以下步骤：S1：根据预设的参数进行曝光并获取图像帧；S2：对图像帧进行预处理；S3：分离不同角度图像平面，依据基准值计算各平面的角度，提取距离信息和灰度信息；S4：根据距离信息与灰度信息计算反射率，依据各平面角度计算平面间的相干角，不同平面的几何中心确定和面灰度值计算；S5：计算平面或者单点受多径影响产生的测距偏差；补偿矫正值，输出多径矫正后的图像帧。不需要庞大数据学习和计算，也不限定场景，就可以获得较为理想的多径补偿信息。

Description

一种激光雷达多径补偿方法
技术领域
本发明涉及一种雷达路径补偿领域，尤其涉及一种激光雷达多径补偿方法。
背景技术
3D视觉技术已经应用到生活的方方面面，如人脸识别、3D建模、距离测量等。随着应用深入，对3D深度信息的精度要求越来越高。在利用TOF相位选通技术测距中，由于光在被测物之间的反射，导致光的回波信号延时到达，导致测距偏大。光在不同路径反射造成的多径偏差作为TOF相位选通测距固有属性，测距原理本身无法解决。
为了修正这种光在被测物间反射带了测距偏差，而采用的方式称为多径补偿。目前大多基于深度学习来解决多径偏差。此方案优点是可以直接选用成熟的深度算法来训练模型，完成图像匹配，多径误差修正，在特定场景可以获得比较好的效果。但是其缺点是不适用未学习的场景，即使在已学习的场景下，未经学习的不同位置和角度，多径补偿效果也并不理想。
例如，一种在中国专利文献上公开的“一种基于机器学习参数补偿的激光雷达反演算法”，其公告号CN112835011A，包括：将激光雷达信号进行均匀分段后分成多个子信号，选取其中最优的第i个子信号反演获得边界值；基于边界值以及随机生成的补偿参数对激光雷达信号进行和反演，使用反演后的结果计算该补偿参数的性能评估参数；将每组补偿参数集及其对应的性能评估参数输入高斯过程模型进行机器学习，取值最小的性能评估参数对应的补偿参数集为最优预测补偿参数集。
上述方案基于机器学习来解决多径偏差，需要庞大的学习和计算，不适用未学习的场景，即使在已学习的场景下，未经学习的不同位置和角度，多径补偿效果也并不理想。
发明内容
本发明主要解决现有技术多径补偿计算量大、受场地限制大的问题；提供一种激光雷达多径补偿方法，根据灰度图，距离信息以及深度图中目标物相对角度来计算多径偏差方案，不需要庞大数据学习和计算，就可以获得较为理想的多径补偿信息。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
S1：根据预设的参数进行曝光并获取图像帧；
S2：通过时域和空间域滤波、畸变矫正以及视角转换的手段对图像帧进行预处理；
S3：提取图像帧的特征点；标记图像轮廓，分离不同角度图像平面，提取各平面的几何中心点的坐标、深度值、灰度值及几何中心点垂直投影在轮廓线上坐标；
S4：特征点处理；根据几何中心点深度值和灰度值计算各图像平面反射率x，依据 相邻两平面几何中心点和其在轮廓线上的垂直投影点，计算两相邻平面的夹角
Figure 883442DEST_PATH_IMAGE001
；
S5：多径补偿；计算单个像素点到相邻平面几何中心的距离，并结合两相邻平面的 夹角
Figure 186248DEST_PATH_IMAGE001
计算多次反射系数β；根据多径计算式计算单个相邻平面的多径偏差；依次计算各相 邻平面的偏差与总矫正值；深度值减去总的矫正值获得矫正后的深度值。
通过提取图像帧特征信息，可以准确计算多径影响量，进行距离信息矫正，获得准确的测距信息。不需要庞大数据学习和计算，也不限定场景，就可以获得较为理想的多径补偿信息。
作为优选，将相机置于导轨，测量不同物距与相机灰度关系；计算曝光参数测距范围，计算公式如下：
Figure 199203DEST_PATH_IMAGE002
其中，M为最大测量物距；
C为光速常量；
T为曝光时间；
将确定好的曝光参数写入相机配置文件，重启后相机根据配置的曝光参数曝光并获取深度图与灰度图。
深度相机通过求解相邻两组快门灰度信号的相位差进行测距，设置参数，保持合理的灰度范围。
作为优选，所述的步骤S3中的标记图像轮廓包括以下步骤：设置图像扫描算子和扫描方式；算子扫描和依据阈值标记轮廓点；轮廓线上的断续点处理；
设置图像扫描算子和扫描方式：
分别设置灰度图和深度图的算子；灰度图扫描灰度在轮廓线上的变化； 深度图通过统计距离变化率的差异标记不同平面轮廓线；灰度图和深度图均分别从水平和垂直方向扫描；
算子扫描和依据阈值标记轮廓点：
灰度图算子在水平方向与垂直方向，分别依次划过图像，统计当前像素与窗口内8个像素均值的差值，并计算该差值与均值的比值，当该比值大于设定阈值时认为是轮廓点，并进行标记；
当深度图算子依次划过图像时，统计算子0，1，2，3与算子6，7，8，9像素深度变化斜 率
Figure 862134DEST_PATH_IMAGE003
；算子6，7，8，9与算子12，13，14，15像素深度变化斜率
Figure 11356DEST_PATH_IMAGE004
；求
Figure 485063DEST_PATH_IMAGE003
与
Figure 204888DEST_PATH_IMAGE004
差值的绝对 值
Figure 687822DEST_PATH_IMAGE005
；当
Figure 425971DEST_PATH_IMAGE005
大于设置阈值时，表明该点在轮廓线上并标注；
轮廓线上的断续点处理：
使用已知轮廓点膨胀或者按照轮廓线斜率延伸的判断方式，将断掉轮廓点进行标记。
灰度与深度两种算子结合判断可以提高轮廓标记的精度。
作为优选，所述的
Figure 588355DEST_PATH_IMAGE003
、
Figure 310324DEST_PATH_IMAGE004
和
Figure 65790DEST_PATH_IMAGE005
计算如下式：
Figure 940336DEST_PATH_IMAGE006
Figure 755846DEST_PATH_IMAGE007
Figure 699531DEST_PATH_IMAGE008
其中，
Figure 507956DEST_PATH_IMAGE009
为算子i像素深度。
作为优选，采用网格化标记进行不同轮廓平面分离与提取；分别从水平方向和垂直方向两个方向扫描图像；在同一方向按照遇到轮廓线个数依次标注，轮廓线宽度设置为10个像素；按照水平方向和垂直方向上轮廓线标注组合进行平面划分和标注。
作为优选，统计同一平面内水平最大坐标
Figure 220697DEST_PATH_IMAGE010
、水平最小坐标
Figure 207107DEST_PATH_IMAGE011
、垂直最大坐 标
Figure 903668DEST_PATH_IMAGE012
和垂直最小坐标
Figure 751669DEST_PATH_IMAGE012
，取水平中点
Figure 318917DEST_PATH_IMAGE013
以及垂直中点
Figure 741808DEST_PATH_IMAGE014
；以此类推得到各平面几何中心点，获得相应深度值和灰度值；几 何中心点到轮廓线投影点坐标，通过轮询轮廓线或其延伸线上坐标点到该几何中心的最近 点得到。
作为优选，所述的计算各图像平面反射率过程为：
Figure 646704DEST_PATH_IMAGE015
其中，G指为相机灰度值，单位：nW/mm2/LSB；
K为衰减系数，包括激光盖板透射率
Figure 813243DEST_PATH_IMAGE016
、镜头透射率
Figure 500576DEST_PATH_IMAGE017
和传感器转化率
Figure 828789DEST_PATH_IMAGE018
；
Figure 719516DEST_PATH_IMAGE019
；
x为物体反射率；
P为激光发射功率，单位：W；
d为目标到镜头的物距，单位mm；
代入各轮廓平面几何中心对应的灰度值和深度值，分别计算各轮廓平面的反射率
Figure 424167DEST_PATH_IMAGE020
；
Figure 966006DEST_PATH_IMAGE020
为第i个轮廓平面的反射率。
作为优选，所述的计算两相邻平面的夹角的过程如下：
判断两相邻平面的几何中心点在两个平面的轮廓线上的投影坐标是否是同一点； 若不是同一点，将其中一个平面的几何中心沿着轮廓线平移，使两个投影点重合；根据相机 的视场角和坐标关系可以求出任意两点的距离，根据反三角函数，可以求出两个平面间的 夹角
Figure 979968DEST_PATH_IMAGE001
。
作为优选，单次反射偏差式为：
Figure 607258DEST_PATH_IMAGE021
其中，
Figure 115600DEST_PATH_IMAGE022
为相邻面的反射率；
v为相邻面到被测物的物距对应的时间；
根据单次反射偏差式，多次反射造成的测距偏差即为：
Figure 528258DEST_PATH_IMAGE023
其中，n为反射次数；
将两相邻平面的夹角
Figure 198274DEST_PATH_IMAGE001
代入多项拟合方程计算多次反射系数
Figure 312860DEST_PATH_IMAGE024
，
并用多次反射系数
Figure 359313DEST_PATH_IMAGE024
替换多次反射造成的测距偏差中的反射次数n；获得一个相邻 面多径偏差为：
Figure 116224DEST_PATH_IMAGE025
其中，
Figure 222720DEST_PATH_IMAGE026
为与第n个相邻面的多径偏差；
若是有多个相邻面，则依次计算其多径偏差，总的矫正值为：
Figure 559024DEST_PATH_IMAGE027
其中，N为相邻面的总数；
该点的深度值减去总的矫正值得到矫正后的深度值。
作为优选，所述的多项拟合方程通过实验数据拟合获得；设置两个平面反射模型， 改变两个平面角度
Figure 894321DEST_PATH_IMAGE001
，在只进行一次反射矫正的前提下，测量实际误差与一次反射矫正值 之间的比例关系，记录数组测试点，使用多项式拟合方式，得到夹角
Figure 530839DEST_PATH_IMAGE001
与多次反射系数
Figure 808236DEST_PATH_IMAGE024
的 拟合方程。
本发明的有益效果是：
本方案通过提取图像帧特征信息，准确计算多径影响量，进行距离信息矫正，获得准确的测距信息。不需要庞大数据学习和计算，也不限定场景，就可以获得较为理想的多径补偿信息。
附图说明
图1是本发明的一种激光雷达多径补偿方法流程图。
图2是本发明的一种TOF门选通间接测距多径矫正原理图。
图3是本发明的一种相机灰度随距离变化曲线图。
图4是本发明的角度与比例系数拟合曲线图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：
本实施例的一种激光雷达多径补偿方法，如图1所示，包括以下步骤：
S1：根据预设的参数进行曝光并获取图像帧。
通过相机获取深度图与灰度图。相机是通过求解相邻两组快门灰度信号的相位差进行测距。
如图2所示，S0 Shutter为深度相机的第一个快门信号，S1 Shutter为深度相机的第二个快门信号，LD pulse代表深度相机发出的激光信号，LD Pulse Return为深度相机的返回激光信号。Captureed Return LD为在时域上第一个快门和第二个快门捕获的遇到不同物距返回的激光信号，即快门信号与激光信号在时域上的积分。
Figure 146683DEST_PATH_IMAGE028
为快门信号脉宽，
Figure 269360DEST_PATH_IMAGE029
为激光信号脉宽，
Figure 104592DEST_PATH_IMAGE030
为深度相机发出激光信号与返回 激光信号的时间差，一般情况激光信号与快门信号脉宽相等，脉宽代表深度相机的测距范 围。
在激光信号遇到障碍物返回后，在时域上，S0 Shutter捕获的是激光返回信号的前半部分，S1 Shutter捕获的是剩余的后半部分。即S0 Shutter与S1 Shutter捕获了完整的激光信号LD pulse。设快门S0 Shutter与LD pulse同时打开，S1 Shutter延后一个快门周期打开，S0 Shutter捕获的激光信号为t0，S1 Shutter捕获的激光信号为t1，此时物距为d，即d=t1*T*C/2*(t0+t1)。t0为S0 Shutter捕获返回的激光返回信号，t1相对S0 Shutter被延后一个脉宽周期的S1 Shutter捕获。即为求解时间t1对应物距d。
由测距公式可知深度相机的测距用的是S0 Shutter与S1 Shutter交叠区域，T=t0+t1。在深度相机中快门与激光信号的积分信号为相机的灰度信号。
在实际使用中，被测物体不会是单一的平面，尤其像墙角这种有好几个夹角的平面，激光信号会在这几个平面中来回反射，最终返回相机的返回信号相当于延时返回，导致测距偏大。激光信号在这几个面中来回反射造成的多径干扰，分为单次反射测距偏差和多次反射测距偏差。反射的次数，由目标物和干扰物的角度决定。
单次反射造成的测距偏差计算如下：设干扰物（相邻面）的反射率为
Figure 287311DEST_PATH_IMAGE022
，干扰物到 被检测物的物距对应时间为v,被测物的物距为d。
则有多径干扰时:t1=t1(1+
Figure 598207DEST_PATH_IMAGE022
)+v*
Figure 42351DEST_PATH_IMAGE022
,t0=t2(1+
Figure 387882DEST_PATH_IMAGE022
)-
Figure 7082DEST_PATH_IMAGE022
*v。
代入计算式：d=（t1(1+
Figure 556006DEST_PATH_IMAGE022
)*T*C+
Figure 286065DEST_PATH_IMAGE022
*v*T*C）/2*（t0+t1)(1+
Figure 751681DEST_PATH_IMAGE022
)。
得到：d=t1*T*C/2*(t0+t1)+
Figure 276203DEST_PATH_IMAGE031
*v/2*t0+t1。
相比无多经影响时的测距计算式d=t1*T*C/2*(t0+t1)多径造成的测距偏差D=
Figure 810959DEST_PATH_IMAGE031
* v*C/2。其中C为光速常量。
Figure 344708DEST_PATH_IMAGE031
为干扰物的反射率。干扰物的反射率可以通过干扰物到相机的 物距和灰度值计算得出。参考计算式：G=K*x*P/d*d。其中G代表灰度值，x为反射率，P激光发 射强度，d为物距，K为衰减系数（本例中为镜头接收衰减次数，激光盖板衰减系数和传感器 QE）。P可以在相机出厂时，使用光功率计和激光匀光角度测量计算得出或者根据固定反射 率板推导得出。v为干扰物到被测物的物距对应的时间，此处简化为干扰物的几何中心到被 测点的距离，v=s/c,其中s为干扰物到被测点距离，c为光速。被测物与干扰物的角度可以分 别计算被测物和干扰物相对垂直平面的角度，再计算被测物与干扰物间的角度值。
在本实施例中，被测物反射率50%时，测距范围0.3米到1.5米，即5倍的距离动态范围。
依据公式计算反射率，反射率的计算过程为：
Figure 664831DEST_PATH_IMAGE015
其中，G指为相机灰度值，单位：nW/mm2/LSB；
K为衰减系数，包括激光盖板透射率
Figure 110987DEST_PATH_IMAGE016
、镜头透射率
Figure 883771DEST_PATH_IMAGE017
和传感器转化率
Figure 221211DEST_PATH_IMAGE018
；
Figure 130262DEST_PATH_IMAGE019
；
x为反射率；
P为激光发射功率，单位：W；
d为目标到镜头的物距，单位mm。
灰度与距离的平方成反比，即需要25倍的灰度范围。在本实施例中，深度传感器输出12bit灰度值，即输出灰度区间0-4096LSB。根据灰度线性测试，有效灰度50到3800LSB，因此可取150到3800LSB的灰度区间。
将深度相机置于可移动导轨，距标定板0.3米，调整相机重频，使此时灰度值达到3800LSB左右，1.5米得到灰度150LSB左右。1.5米的测距范围，依据计算式计算曝光参数范围，计算公式如下：
Figure 779942DEST_PATH_IMAGE002
其中，M为最大测量物距；
C为光速常量；
T为曝光时间；
T需要大于10ns即可，当然为了距离分辨率，也不宜设置过大。将确定好的曝光参数写入相机配置文件，重启后相机根据配置的曝光参数曝光并获取深度图与灰度图。
在本实施例中，将相机置于导轨，如图3所示，测量不同物距与相机灰度关系，测量数据如表1所示。
表1. 物距与相机灰度测量数据
Figure 774443DEST_PATH_IMAGE032
测量验证：使用光功率计和激光参数以及匀光角度计算发射功率。使用光功率测量激光发射功率平均值为7mW。已知激光发射脉宽11ns，帧率20帧，每帧2组激光发射，每组分为12*300次，峰值功率=7mW*1000000/(11*20*2*12*300)≈4.4W。又已知激光匀光角度50°*70°因此P=4.4/（tan25°*tan35°*2*2*d*d）=3.38W/(d*d)。其中d为物距。基本与表1计算值一致。
S2：通过时域和空间域滤波、畸变矫正以及视角转换的手段对图像帧进行预处理。
对获取数据流进行处理，得到稳定图像帧。首先进行畸变矫正和视角转换，然后进行时域和空间域滤波。
S3：提取图像帧的特征点；标记图像轮廓，分离不同角度图像平面，提取各平面的几何中心点的坐标、深度值、灰度值及几何中心点垂直投影在轮廓线上坐标。
标记图像轮廓包括以下步骤：设置图像扫描算子和扫描方式；算子扫描和依据阈值标记轮廓点；轮廓线上的断续点处理。
设置图像扫描算子和扫描方式：
根据算力和实际需求，灰度图和深度图各设置一种算子。分别设置灰度图和深度图的算子；灰度图扫描灰度在轮廓线上的变化；深度图通过统计距离变化率的差异标记不同平面轮廓线。
灰度图和深度图均分别从水平和垂直方向扫描。灰度图主要扫描灰度在轮廓线变化，大小为水平1*8个像素，垂直为8*1个像素。深度图主要通过统计距离变化率的差异来标记不同平面轮廓线。因此统计长度大于灰度图算子，在本实施例中，设置16个像素，水平方向为1*16，垂直为16*1，也是分别从水平和垂直两个方向扫描。
算子扫描和依据阈值标记轮廓点：
灰度图算子在水平方向与垂直方向，分别依次划过图像，统计当前像素与算子窗口内8个像素均值的差值，并计算该差值与均值的比值，当该比值大于设定阈值时认为是轮廓点，并进行标记。
深度图像主要统计距离变化率的变化，当前判断像素为算子的第8个像素。当深度 图算子依次划过图像时，统计算子0，1，2，3与算子6，7，8，9像素深度变化斜率
Figure 915574DEST_PATH_IMAGE003
；算子6，7， 8，9与算子12，13，14，15像素深度变化斜率
Figure 429863DEST_PATH_IMAGE004
；求
Figure 998248DEST_PATH_IMAGE003
与
Figure 480045DEST_PATH_IMAGE004
差值的绝对值
Figure 142976DEST_PATH_IMAGE005
；当
Figure 292198DEST_PATH_IMAGE005
大于 设置阈值时，表明该点在轮廓线上并标注。
Figure 765905DEST_PATH_IMAGE003
、
Figure 751309DEST_PATH_IMAGE004
和
Figure 968664DEST_PATH_IMAGE005
计算如下式：
Figure 706813DEST_PATH_IMAGE033
Figure 351421DEST_PATH_IMAGE034
Figure 325586DEST_PATH_IMAGE035
其中，
Figure 81053DEST_PATH_IMAGE009
为算子i像素深度。
轮廓线上的断续点处理：
使用已知轮廓点膨胀或者按照轮廓线斜率延伸的判断方式，将断掉轮廓点进行标记。
解决在实际使用当中，遇到部分轮廓点无法准确标注情况。
分离提取不同角度图像平面的过程为：在本实施例中，采用网格化标记进行不同轮廓平面分离与提取。
分别从水平方向和垂直方向两个方向扫描图像；在同一方向按照遇到轮廓线个数依次标注（分别标注0，1，2，3等），轮廓线宽度设置为10个像素，即相邻10个像素的轮廓点属于同一条轮廓线；按照水平方向和垂直方向上轮廓线标注组合进行平面划分和标注。
以3*3网格为例，x=0,y=0为第一个平面，x=1,y=0为第二个平面。以此类推，平面1为00，平面2为10，平面3为20，平面4为01，平面5为11，平面6为21，平面7为02，平面8为12，平面9为22。
提取各平面的几何中心点的坐标、深度值、灰度值及几何中心点垂直投影在轮廓 线上坐标过程为：统计同一平面内水平最大坐标
Figure 204867DEST_PATH_IMAGE010
、水平最小坐标
Figure 505529DEST_PATH_IMAGE011
、垂直最大坐标
Figure 449214DEST_PATH_IMAGE012
和垂直最小坐标
Figure 273951DEST_PATH_IMAGE012
，取水平中点
Figure 986692DEST_PATH_IMAGE013
以及垂直中点
Figure 222370DEST_PATH_IMAGE014
；以此类推得到各平面几何中心点，获得相应深度值和灰度值；几 何中心点到轮廓线投影点坐标，通过轮询轮廓线或其延伸线上坐标点到该几何中心的最近 点得到。
S4：特征点处理；根据几何中心点深度值和灰度值计算各图像平面反射率x，依据 相邻两平面几何中心点和其在轮廓线上的垂直投影点，计算两相邻平面的夹角
Figure 653351DEST_PATH_IMAGE001
。
计算各图像平面反射率过程为：
Figure 750620DEST_PATH_IMAGE015
其中，G指为相机灰度值，单位：nW/mm2/LSB；
K为衰减系数，包括激光盖板透射率
Figure 599759DEST_PATH_IMAGE016
、镜头透射率
Figure 757071DEST_PATH_IMAGE017
和传感器转化率
Figure 409769DEST_PATH_IMAGE018
；
Figure 840224DEST_PATH_IMAGE019
；
x为物体反射率；
P为激光发射功率，单位：W；
d为目标到镜头的物距，即改点的深度值，单位mm；
代入各轮廓平面几何中心对应的灰度值和深度值，分别计算各轮廓平面的反射率
Figure 527557DEST_PATH_IMAGE020
；
Figure 855770DEST_PATH_IMAGE020
为第i个轮廓平面的反射率。
根据实际设备算力的约束，同时根据灰度轮廓标注原理，同一平面内灰度连续，因 此模型简化为该几何中心的反射率代表该平面的反射率。平面1的反射率用
Figure 261344DEST_PATH_IMAGE036
表示，平面2 用
Figure 451148DEST_PATH_IMAGE037
表示，同理可计算得到
Figure 258567DEST_PATH_IMAGE038
、
Figure 757681DEST_PATH_IMAGE039
和
Figure 634239DEST_PATH_IMAGE040
等。
计算两相邻平面的夹角的过程如下：
判断两相邻平面的几何中心点在两个平面的轮廓线上的投影坐标是否是同一点；若不是同一点，将其中一个平面的几何中心沿着轮廓线平移，使两个投影点重合；偏移坐标通过原来两投影点坐标差得到。
非线性轮廓线，按照设定阈值，做近似化处理。两个面的几何中心和其投影点的坐 标已知，深度值已知，根据传感器的视场角和坐标关系可以求出他们任意两点的距离，根据 反三角函数，可以求出两相邻平面的夹角
Figure 877002DEST_PATH_IMAGE001
。
S5：多径补偿；计算单个像素点到相邻平面几何中心的距离，并结合两相邻平面的 夹角
Figure 538927DEST_PATH_IMAGE001
计算多次反射系数β；根据多径计算式计算单个相邻平面的多径偏差。依次计算各相 邻平面的偏差与总矫正值；深度值减去总的矫正值获得矫正后的深度值。
以任意一个被测像素点为例，计算多径补偿值。已知该点与任意一个相邻面的几何中心坐标，及两者深度值和相机视场角，可计算得到该点到该相邻面几何中心距离s，根据光速公式计算s对应时间v=s/c，并将005中得到的两平面夹角α，代入拟合方程中计算多次反射系数β。
单次反射偏差式为：
Figure 208943DEST_PATH_IMAGE021
其中，
Figure 339841DEST_PATH_IMAGE022
为相邻面的反射率；
v为相邻面到被测物的物距对应的时间；
根据单次反射偏差式，多次反射造成的测距偏差即为：
Figure 386295DEST_PATH_IMAGE023
其中，n为反射次数；
反射次数n由相邻平面夹角
Figure 902727DEST_PATH_IMAGE001
，激光强度P，被测点到相邻平面物距等决定，本例采 用一种间接方案，在一组相邻平面条件下，采集在不同的夹角
Figure 261420DEST_PATH_IMAGE001
，测量实际误差与单次反射 偏差比例系数。使用多项式拟合的方式得到夹角
Figure 128882DEST_PATH_IMAGE001
与多次反射系数
Figure 713447DEST_PATH_IMAGE024
的拟合方程。
将两相邻平面的夹角
Figure 835118DEST_PATH_IMAGE001
代入多项拟合方程计算多次反射系数
Figure 112516DEST_PATH_IMAGE024
。
多项拟合方程通过实验数据拟合获得。设置两个平面反射模型，改变两个平面角 度
Figure 467274DEST_PATH_IMAGE001
，在只进行一次反射矫正的前提下，测量实际误差与一次反射矫正值之间的比例关系， 记录数组测试点，如表2所示，使用多项式拟合方式，得到夹角
Figure 839218DEST_PATH_IMAGE001
与多次反射系数
Figure 330242DEST_PATH_IMAGE024
的拟合方 程，如图4所示，得到夹角与比例系数拟合方程y = -3E-06x3 + 0.0012x2 - 0.1582x + 8.0669，其中y代表多次反射系数β，x代表两平面夹角α。
表2.测试点数据表
Figure 778541DEST_PATH_IMAGE042
并用多次反射系数
Figure 840169DEST_PATH_IMAGE024
替换多次反射造成的测距偏差中的反射次数n；获得一个相邻 面多径偏差为：
Figure 32116DEST_PATH_IMAGE025
其中，
Figure 377647DEST_PATH_IMAGE026
为与第n个相邻面的多径偏差；
若是有多个相邻面，则依次计算其多径偏差，总的矫正值为：
Figure 731268DEST_PATH_IMAGE027
其中，N为相邻面的总数；
该点的深度值减去总的矫正值得到矫正后的深度值。
依次矫正其它像素点，完成后，输出深度和灰度图像帧。
本实施例的方案通过提取图像帧特征信息，准确计算多径影响量，进行距离信息矫正，获得准确的测距信息。不需要庞大数据学习和计算，也不限定场景，就可以获得较为理想的多径补偿信息。
应理解，实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (10)

1.一种激光雷达多径补偿方法，其特征在于，包括以下步骤：
S1：根据预设的参数进行曝光并获取图像帧；
S2：通过时域和空间域滤波、畸变矫正以及视角转换的手段对图像帧进行预处理；
S3：提取图像帧的特征点；标记图像轮廓，分离不同角度图像平面，提取各平面的几何中心点的坐标、深度值、灰度值及几何中心点垂直投影在轮廓线上坐标；
S4：特征点处理；根据几何中心点深度值和灰度值计算各图像平面反射率x，依据相邻 两平面几何中心点和其在轮廓线上的垂直投影点，计算两相邻平面的夹角
Figure 971600DEST_PATH_IMAGE001
；
S5：多径补偿；计算单个像素点到相邻平面几何中心的距离，并结合两相邻平面的夹角
Figure 92003DEST_PATH_IMAGE001
计算多次反射系数β；根据多径计算式计算单个相邻平面的多径偏差，依次计算各相邻平 面的偏差与总矫正值；深度值减去总的矫正值获得矫正后的深度值。
2.根据权利要求1所述的一种激光雷达多径补偿方法，其特征在于，将相机置于导轨，测量不同物距与相机灰度关系；计算曝光参数测距范围，计算公式如下：
Figure 589849DEST_PATH_IMAGE002
其中，M为最大测量物距；
C为光速常量；
T为曝光时间；
将确定好的曝光参数写入相机配置文件，重启后相机根据配置的曝光参数曝光并获取深度图与灰度图。
3.根据权利要求1或2所述的一种激光雷达多径补偿方法，其特征在于，所述的步骤S3中的标记图像轮廓包括以下步骤：设置图像扫描算子和扫描方式；算子扫描和依据阈值标记轮廓点；轮廓线上的断续点处理；
设置图像扫描算子和扫描方式：
分别设置灰度图和深度图的算子；灰度图扫描灰度在轮廓线上的变化； 深度图通过统计距离变化率的差异标记不同平面轮廓线；灰度图和深度图均分别从水平和垂直方向扫描；
算子扫描和依据阈值标记轮廓点：
灰度图算子在水平方向与垂直方向，分别依次划过图像，统计当前像素与窗口内8个像素均值的差值，并计算该差值与均值的比值，当该比值大于设定阈值时认为是轮廓点，并进行标记；
当深度图算子依次划过图像时，统计算子0，1，2，3与算子6，7，8，9像素深度变化斜率
Figure 453900DEST_PATH_IMAGE003
；算子6，7，8，9与算子12，13，14，15像素深度变化斜率
Figure 737113DEST_PATH_IMAGE004
；求
Figure 28417DEST_PATH_IMAGE003
与
Figure 13560DEST_PATH_IMAGE004
差值的绝对值
Figure 681302DEST_PATH_IMAGE005
；当
Figure 819022DEST_PATH_IMAGE005
大于设置阈值时，表明该点在轮廓线上并标注；
轮廓线上的断续点处理：
使用已知轮廓点膨胀或者按照轮廓线斜率延伸的判断方式，将断掉轮廓点进行标记。
4.根据权利要求3所述的一种激光雷达多径补偿方法，其特征在于，所述的
Figure 281227DEST_PATH_IMAGE003
、
Figure 756595DEST_PATH_IMAGE004
和
Figure 962449DEST_PATH_IMAGE005
计算如下式：
Figure DEST_PATH_IMAGE007
Figure DEST_PATH_IMAGE009
Figure 141626DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
为算子i像素深度。
5.根据权利要求1或4所述的一种激光雷达多径补偿方法，其特征在于，采用网格化标记进行不同轮廓平面分离与提取；分别从水平方向和垂直方向两个方向扫描图像；在同一方向按照遇到轮廓线个数依次标注，轮廓线宽度设置为10个像素；按照水平方向和垂直方向上轮廓线标注组合进行平面划分和标注。
6.根据权利要求5所述的一种激光雷达多径补偿方法，其特征在于，统计同一平面内水 平最大坐标
Figure 243575DEST_PATH_IMAGE012
、水平最小坐标
Figure 954042DEST_PATH_IMAGE013
、垂直最大坐标
Figure 947274DEST_PATH_IMAGE014
和垂直最小坐标
Figure 59587DEST_PATH_IMAGE014
，取水平 中点
Figure 598015DEST_PATH_IMAGE015
以及垂直中点
Figure 45046DEST_PATH_IMAGE016
；以此类推得到各平面 几何中心点，获得相应深度值和灰度值；几何中心点到轮廓线投影点坐标，通过轮询轮廓线 或其延伸线上坐标点到该几何中心的最近点得到。
7.根据权利要求1或4或6所述的一种激光雷达多径补偿方法，其特征在于，所述的计算各图像平面反射率过程为：
Figure 592702DEST_PATH_IMAGE017
其中，G指为相机灰度值，单位：nW/mm2/LSB；
K为衰减系数，包括激光盖板透射率
Figure 559521DEST_PATH_IMAGE018
、镜头透射率
Figure DEST_PATH_IMAGE019
和传感器转化率
Figure 521048DEST_PATH_IMAGE020
；
Figure 674949DEST_PATH_IMAGE021
；
x为物体反射率；
P为激光发射功率，单位：W；
d为目标到镜头的物距，单位mm；
代入各轮廓平面几何中心对应的灰度值和深度值，分别计算各轮廓平面的反射率
Figure 26296DEST_PATH_IMAGE022
；
Figure 847622DEST_PATH_IMAGE022
为第i个轮廓平面的反射率。
8.根据权利要求7所述的一种激光雷达多径补偿方法，其特征在于，所述的计算两相邻平面的夹角的过程如下：
判断两相邻平面的几何中心点在两个平面的轮廓线上的投影坐标是否是同一点；若不 是同一点，将其中一个平面的几何中心沿着轮廓线平移，使两个投影点重合；根据相机的视 场角和坐标关系可以求出任意两点的距离，根据反三角函数，可以求出两个平面间的夹角
Figure 508279DEST_PATH_IMAGE001
。
9.根据权利要求1或8所述的一种激光雷达多径补偿方法，其特征在于，单次反射偏差式为：
Figure 415055DEST_PATH_IMAGE023
其中，
Figure 304514DEST_PATH_IMAGE024
为相邻面的反射率；
v为相邻面到被测物的物距对应的时间；
根据单次反射偏差式，多次反射造成的测距偏差即为：
Figure 245925DEST_PATH_IMAGE025
其中，n为反射次数；
将两相邻平面的夹角
Figure 77484DEST_PATH_IMAGE001
代入多项拟合方程计算多次反射系数
Figure 205977DEST_PATH_IMAGE026
；
并用多次反射系数
Figure 899126DEST_PATH_IMAGE026
替换多次反射造成的测距偏差中的反射次数n；获得一个相邻面多 径偏差为：
Figure 413153DEST_PATH_IMAGE027
其中，
Figure 900766DEST_PATH_IMAGE028
为与第n个相邻面的多径偏差；
若是有多个相邻面，则依次计算其多径偏差，总的矫正值为：
Figure DEST_PATH_IMAGE029
其中，N为相邻面的总数；
该点的深度值减去总的矫正值得到矫正后的深度值。
10.根据权利要求9所述的一种激光雷达多径补偿方法，其特征在于，所述的多项拟合 方程通过实验数据拟合获得；设置两个平面反射模型，改变两个平面角度
Figure 491454DEST_PATH_IMAGE001
，在只进行一次 反射矫正的前提下，测量实际误差与一次反射矫正值之间的比例关系，记录数组测试点，使 用多项式拟合方式，得到夹角
Figure 988295DEST_PATH_IMAGE001
与多次反射系数
Figure 638719DEST_PATH_IMAGE026
的拟合方程。
CN202110937368.0A 2021-08-16 2021-08-16 一种激光雷达多径补偿方法 Active CN113393509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110937368.0A CN113393509B (zh) 2021-08-16 2021-08-16 一种激光雷达多径补偿方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110937368.0A CN113393509B (zh) 2021-08-16 2021-08-16 一种激光雷达多径补偿方法

Publications (2)

Publication Number Publication Date
CN113393509A true CN113393509A (zh) 2021-09-14
CN113393509B CN113393509B (zh) 2021-12-24

Family

ID=77622599

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110937368.0A Active CN113393509B (zh) 2021-08-16 2021-08-16 一种激光雷达多径补偿方法

Country Status (1)

Country Link
CN (1) CN113393509B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101666873A (zh) * 2009-03-04 2010-03-10 北京邮电大学 基于调变脉冲序列的高精度测距雷达的模糊处理方法
CN102129067A (zh) * 2011-03-15 2011-07-20 北京理工大学 一种前向散射雷达地面运动目标信号建模及成像方法
CN103135109A (zh) * 2013-01-31 2013-06-05 中国人民解放军国防科学技术大学 一种基于多径信号的超宽带雷达成像方法
CN110688763A (zh) * 2019-10-08 2020-01-14 北京工业大学 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101666873A (zh) * 2009-03-04 2010-03-10 北京邮电大学 基于调变脉冲序列的高精度测距雷达的模糊处理方法
CN102129067A (zh) * 2011-03-15 2011-07-20 北京理工大学 一种前向散射雷达地面运动目标信号建模及成像方法
CN103135109A (zh) * 2013-01-31 2013-06-05 中国人民解放军国防科学技术大学 一种基于多径信号的超宽带雷达成像方法
CN110688763A (zh) * 2019-10-08 2020-01-14 北京工业大学 一种基于脉冲型ToF相机深度和光强图像的多径效应补偿方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
庞正雅: "基于激光雷达的运动补偿方法", 《激光与光电子学进展》 *
王旭赢: "多径环境下平面时差定位精度分析", 《海军工程大学学报》 *

Also Published As

Publication number Publication date
CN113393509B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN111090103B (zh) 水下小目标动态精细检测三维成像装置及方法
CN107578464B (zh) 一种基于线激光扫描的传送带工件三维轮廓测量方法
KR101996992B1 (ko) 옵티컬 플로우 영상 처리를 이용하는 하천 유속 측정 장치 및 방법
CN105225482B (zh) 基于双目立体视觉的车辆检测系统和方法
TWI518350B (zh) 飛航時間像化器及其測量物體深度映圖之方法
IL269984B (en) Lidar range estimation with range velocity compensation
CN110966956A (zh) 一种基于双目视觉的三维检测装置和方法
CN111829434B (zh) 一种料流计量检测方法及系统
CN113074660B (zh) 一种大尺寸透明物体的面型测量方法
CN113554697A (zh) 基于线激光的舱段轮廓精确测量方法
CN114078220B (zh) 一种基于深度相机的托盘识别方法
CN115330684A (zh) 基于双目视觉与线结构光的水下构筑物表观缺陷检测方法
CN115081240A (zh) 一种提升仿真激光雷达数据真实性的点云数据处理方法
CN111156921A (zh) 一种基于滑动窗口均值滤波的轮廓数据处理方法
CN113393509B (zh) 一种激光雷达多径补偿方法
Sabov et al. Identification and correction of flying pixels in range camera data
CN109084953A (zh) 水槽中波浪特征参数获取装置及其获取方法
CN105096314A (zh) 基于二值网格模板的结构光动态场景深度获取方法
CN117058236A (zh) 一种基于多目视觉系统自切换的目标识别定位方法
Isgro et al. An open system for 3D data acquisition from multiple sensor
CN104266594A (zh) 一种基于不同视觉技术块冻虾净含量检测的厚度补偿方法
Gottfried et al. Time of flight motion compensation revisited
CN113674360A (zh) 一种基于协变的线结构光光平面标定方法
Bender et al. A Hand-held Laser Scanner based on Multi-camera Stereo-matching
CN115574725B (zh) 一种基于线结构光的钢板尺寸测量方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant