CN112346034A - 一种三维固态面阵激光雷达组合标定方法 - Google Patents
一种三维固态面阵激光雷达组合标定方法 Download PDFInfo
- Publication number
- CN112346034A CN112346034A CN202011262442.5A CN202011262442A CN112346034A CN 112346034 A CN112346034 A CN 112346034A CN 202011262442 A CN202011262442 A CN 202011262442A CN 112346034 A CN112346034 A CN 112346034A
- Authority
- CN
- China
- Prior art keywords
- image
- gray
- area array
- values
- dark
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 15
- 230000010354 integration Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000005286 illumination Methods 0.000 claims abstract description 7
- 230000004044 response Effects 0.000 claims abstract description 6
- 230000000694 effects Effects 0.000 claims abstract description 4
- 238000005259 measurement Methods 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
一种三维固态面阵激光雷达组合标定方法,包括:(1)采集外界光照下不同积分时间下的灰度图像;(2)消除暗电流效应和光子反应不一致对灰度图像的误差影响;(3)采用镜头畸变校正算法对相机内/外参数进行标定,得到校准后的灰度图像;(4)将步骤(3)校准后的灰度图像作为深度图像环境光补偿过程中的外界环境光强度参考标准,修正积分时间设定值,消除积分时间误差;(5)采用iTOF距离解算方法计算原始距离,校正步骤(4)深度图像因解调算法引起的计算误差;(6)对步骤(5)校准完成后的深度图像,补偿由于像元平面场对距离响应不一致所引起的误差;(7)对步骤(6)深度图像进行温度补偿,消除因温度漂移带来的距离解算误差。
Description
技术领域
本发明属于固态面阵激光雷达标定的技术领域,尤其涉及一种三维固态面阵激光雷达组合标定方法。
背景技术
近年来,三维固态面阵激光雷达由于具有成本低、帧频高、耐用性强、能生成“图像级”距离信息等特点而备受研究人员的关注。
但是,受温度漂移、激光调制解调误差、环境光干扰、TOF面阵传感器像元不一致等因素的影响,三维固态面阵激光雷达测量精度较差。为了满足实际应用需求,三维固态面阵激光雷达在使用之前需要进行标定,以提高测量精度。
目前相关研究提出了许多关于面阵激光雷达的校正方法,一类大都采用线性插值、二次差值以及样条插值等方法直接对深度数据进行校正,进而生成距离补偿值查找表;另一类通常选取单个或者多个误差源进行标定,无法完全去除整体误差的影响。总体来说,三维固态面阵激光雷达目前亟待解决多误差源影响以及实时性校正的问题。
发明内容
为克服现有技术的缺陷,本发明要解决的技术问题是提供了一种三维固态面阵激光雷达组合标定方法,其能够很好地解决校正过程中多误差源的影响,并且可操作性强、准确度高,步骤简单。
本发明的技术方案是:这种三维固态面阵激光雷达组合标定方法,其包括以下步骤:
(1)采集外界光照下不同积分时间下的灰度图像;
(2)消除暗电流效应和光子反应不一致对灰度图像的误差影响;
(3)采用镜头畸变校正算法对相机内/外参数进行标定,得到校准后的灰度图像;
(4)将步骤(3)中校准后的灰度图像作为深度图像环境光补偿过程中的外界环境光强度参考标准,修正积分时间设定值,消除积分时间误差;
(5)采用iTOF距离解算方法计算原始距离,校正步骤(4)中深度图像因解调算法引起的计算误差;
(6)对步骤(5)中校准完成后的深度图像,补偿由于像元平面场对距离响应不一致所引起的误差;
(7)对步骤(6)中深度图像进行温度补偿,消除因温度漂移带来的距离解算误差。
本发明一方面采用灰度图像获取外界环境光强度作为深度图像环境光标定过程中的参考标准,解决了环境光对三维固态面阵激光雷达测距精度的干扰;另一方面对深度图像依次进行了环境光补偿、解调误差校正、距离相应不一致误差补偿以及温度漂移校正等处理,解决了多个误差源对测距精度的影响;本方法采用组合标定的工作方式,有效的消除了外界因素对测量的影响,显著提高测距精度,具有较高的适用性。
附图说明
图1为根据本发明的一种三维固态面阵激光雷达组合标定方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
为了使本揭示内容的叙述更加详尽与完备,下文针对本发明的实施方式与具体实施例提出了说明性的描述;但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而,亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。
如图1所示,这种三维固态面阵激光雷达组合标定方法,其包括以下步骤:
(1)采集外界光照下不同积分时间下的灰度图像;
(2)消除暗电流效应和光子反应不一致对灰度图像的误差影响;
(3)采用镜头畸变校正算法对相机内/外参数进行标定,得到校准后的灰度图像;
(4)将步骤(3)中校准后的灰度图像作为深度图像环境光补偿过程中的外界环境光强度参考标准,修正积分时间设定值,消除积分时间误差;
(5)采用iTOF距离解算方法计算原始距离,校正步骤(4)中深度图像因解调算法引起的计算误差;
(6)对步骤(5)中校准完成后的深度图像,补偿由于像元平面场对距离响应不一致所引起的误差;
(7)对步骤(6)中深度图像进行温度补偿,消除因温度漂移带来的距离解算误差。
本发明一方面采用灰度图像获取外界环境光强度作为深度图像环境光标定过程中的参考标准,解决了环境光对三维固态面阵激光雷达测距精度的干扰;另一方面对深度图像依次进行了环境光补偿、解调误差校正、距离相应不一致误差补偿以及温度漂移校正等处理,解决了多个误差源对测距精度的影响;本方法采用组合标定的工作方式,有效的消除了外界因素对测量的影响,显著提高测距精度,具有较高的适用性。
优选地,所述步骤(1)包括以下分步骤:
(1.1)在外界环境黑暗条件下,设置积分时间0us,采集N帧黑暗条件下灰度图像,获取灰度图像平均测量值:
(1.2)在外界环境光照条件下,设置不同积分时间,分别获取10%、 30%、50%、80%等不同幅值下的N帧灰度图像,获取不同幅值下的平均测量值:
式中Ydark-avg为黑暗条件下灰度图像平均测量值,YAL-avg为光照条件下灰度图像平均测量值,N为灰度图像张数,X、Y分别为芯片横纵方向上的像元数量。
优选地,所述步骤(2)包括以下分步骤:
(2.1)分别计算黑暗/环境光照两种情况下的空间方差值:
(2.2)分别获取DSNU(Dark Signal Non-Uniformity,暗信号非均匀性)和PRNU(Photo Response Non-Uniformity,光响应非均匀性)的校正值:
bDSNU=Sdark (5)
(2.3)在三维固态面阵激光雷达工作测试过程中,按照下式实时进行灰度图像补偿:
Icorr(x,y)=[Iraw(x,y)-bDSNU(x,y)]*kPSNU (7)
优选地,所述步骤(4)包括以下分步骤:
(4.1)选取N帧图像中心ROI区域内的测量值求取空间平均值;
(4.2)调整积分时间,使得灰度图像幅值达到50%,记录此时灰度图像幅值为Qgray;
(4.3)在外界黑暗情况下,测量DC0、DC2值,并保存为DC0dark、 DC2dark;
(4.4)调整积分时间,使得灰度图像幅值达到25%,此时为测试场景1,测量DC0、DC2值,并保存为DC0setting1、DC2setting1;
(4.5)调整积分时间,使得灰度图像幅值达到75%,此时为测试场景2,测量DC0、DC2值,并保存DC0setting2、DC2setting2;
(4.6)计算KAL
Q01=DC0setting1-DC0dark Q21=DC2setting1-DC2dark
Q02=DC0setting2-DC0dark Q22=DC2setting2-DC2dark (8)
(4.7)由于DC0、DC1在测量过程受环境光影响较为严重,采用下式对其进行计算校正:
式中DC0、DC1、DC2、DC3分别为周期内四个不同时刻0°、90°、180°、 270°的相位值,Qij分别为第i个时刻第j个场景下的电荷累积值,DC0corr(x,y)、 DC1corr(x,y)分别为不同像元处DC0、DC1校准后的相位值。。
优选地,所述步骤(5)中,由于DC2/3受环境光影响较低,DC0/1受环境光影响较为严重,因此采用下式iTOF解调算法对原始距离进行解算:
式中Draw(x,y)为不同处像元处计算得到的原始距离数据。
优选地,所述步骤(7)中,在三维固态面阵激光雷达工作过程中,温度误差来源主要有调制光源驱动、面阵传感器、DLL控制器等部件,相应的温度补偿计算公式:
Dcomp(x,y)=Dcal(x,y)-(TACT-TCAL)*(TCPix+TCLaser+n*TCDLL) (11)
式中,Dcomp(x,y)为不同像元处经过温度补偿后的距离数据,Dcal(x,y)为不同像元处经过DRNU(Distance Response Non-Uniformity,距离相应不一致) 误差补偿后的距离数据,TCPix为像素温度系数,TCLaser为激光器温度系数,TCDLL为DLL温度系数,TACT为当前温度,TCAL为标定运行时温度,其中TCPix、TCLaser和TCDLL为固定值,TACT和TCAL值由温度传感器获得。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
Claims (6)
1.一种三维固态面阵激光雷达组合标定方法,其特征在于:其包括以下步骤:
(1)采集外界光照下不同积分时间下的灰度图像;
(2)消除暗电流效应和光子反应不一致对灰度图像的误差影响;
(3)采用镜头畸变校正算法对相机内/外参数进行标定,得到校准后的灰度图像;
(4)将步骤(3)中校准后的灰度图像作为深度图像环境光补偿过程中的外界环境光强度参考标准,修正积分时间设定值,消除积分时间误差;
(5)采用iTOF距离解算方法计算原始距离,校正步骤(4)中深度图像因解调算法引起的计算误差;
(6)对步骤(5)中校准完成后的深度图像,补偿由于像元平面场对距离响应不一致所引起的误差;
(7)对步骤(6)中深度图像进行温度补偿,消除因温度漂移带来的距离解算误差。
4.根据权利要求3所述的三维固态面阵激光雷达组合标定方法,其特征在于:所述步骤(4)包括以下分步骤:
(4.1)选取N帧图像中心ROI区域内的测量值求取空间平均值;
(4.2)调整积分时间,使得灰度图像幅值达到50%,记录此时灰度图像幅值为Qgray;
(4.3)在外界黑暗情况下,测量DC0、DC2值,并保存为DC0dark、DC2dark;
(4.4)调整积分时间,使得灰度图像幅值达到25%,此时为测试场景1,测量DC0、DC2值,并保存为DC0setting1、DC2setting1;
(4.5)调整积分时间,使得灰度图像幅值达到75%,此时为测试场景2,测量DC0、DC2值,并保存为DC0setting2、DC2setting2;
(4.6)计算环境因子KAL
(4.7)由于DC0、DC1在测量过程受环境光影响较为严重,采用下式对其进行计算校正:
式中DC0、DC1、DC2、DC3分别为周期内四个不同时刻0°、90°、180°、270°的相位值,Qij分别为第i个时刻第j个场景下的电荷累积值,DC0corr(x,y)、DC1corr(x,y)分别为不同像元处DC0、DC1校准后的相位值。
6.根据权利要求5所述的三维固态面阵激光雷达组合标定方法,其特征在于:所述步骤(7)中,在三维固态面阵激光雷达工作过程中,温度误差来源主要有调制光源驱动、面阵传感器、DLL控制器等部件,相应的温度补偿计算公式:
Dcomp(x,y)=Dcal(x,y)-(TACT-TCAL)*(TCPix+TCLaser+n*TCDLL) (11)
式中,Dcomp(x,y)为不同像元处经过温度补偿后的距离数据,Dcal(x,y)为不同像元处经过DRNU误差补偿后的距离数据,TCPix为像素温度系数,TCLaser为激光器温度系数,TCDLL为DLL温度系数,TACT为当前温度,TCAL为标定运行时温度,其中TCPix、TCLaser和TCDLL为固定值,TACT和TCAL值由温度传感器获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011262442.5A CN112346034B (zh) | 2020-11-12 | 2020-11-12 | 一种三维固态面阵激光雷达组合标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011262442.5A CN112346034B (zh) | 2020-11-12 | 2020-11-12 | 一种三维固态面阵激光雷达组合标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112346034A true CN112346034A (zh) | 2021-02-09 |
CN112346034B CN112346034B (zh) | 2023-10-27 |
Family
ID=74362636
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011262442.5A Active CN112346034B (zh) | 2020-11-12 | 2020-11-12 | 一种三维固态面阵激光雷达组合标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112346034B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115097427A (zh) * | 2022-08-24 | 2022-09-23 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定系统及方法 |
CN117970350A (zh) * | 2024-03-29 | 2024-05-03 | 深圳市欢创科技股份有限公司 | 测距方法、激光雷达、测距系统、机器人及存储介质 |
WO2024199177A1 (en) * | 2023-03-24 | 2024-10-03 | Hesai Technology Co., Ltd. | Lidar, calibration method therefor, calibration apparatus therefor, and storage medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582165A (zh) * | 2009-06-29 | 2009-11-18 | 浙江大学 | 基于灰度图像与空间深度数据的摄像机阵列标定算法 |
CN103413309A (zh) * | 2013-08-12 | 2013-11-27 | 西北工业大学 | 一种基于结构光三维测量系统的ccd相机非线性度标定方法 |
CN108459314A (zh) * | 2018-03-08 | 2018-08-28 | 北京理工大学 | 一种三维固态面阵激光雷达非均匀校正方法 |
CN108871588A (zh) * | 2018-08-09 | 2018-11-23 | 昆明物理研究所 | 一种红外成像系统多维度联合非均匀性校正方法 |
CN109343036A (zh) * | 2018-09-06 | 2019-02-15 | 北京理工大学 | 一种三维固态面阵激光雷达标定装置及方法 |
CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
CN109814085A (zh) * | 2018-12-18 | 2019-05-28 | 歌尔股份有限公司 | 一种激光雷达温度补偿方法、装置、系统和设备 |
CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
KR20200062729A (ko) * | 2018-11-27 | 2020-06-04 | 현대오트론 주식회사 | 라이다 장치 및 라이다의 신호 처리 방법 |
-
2020
- 2020-11-12 CN CN202011262442.5A patent/CN112346034B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101582165A (zh) * | 2009-06-29 | 2009-11-18 | 浙江大学 | 基于灰度图像与空间深度数据的摄像机阵列标定算法 |
CN103413309A (zh) * | 2013-08-12 | 2013-11-27 | 西北工业大学 | 一种基于结构光三维测量系统的ccd相机非线性度标定方法 |
CN108459314A (zh) * | 2018-03-08 | 2018-08-28 | 北京理工大学 | 一种三维固态面阵激光雷达非均匀校正方法 |
CN108871588A (zh) * | 2018-08-09 | 2018-11-23 | 昆明物理研究所 | 一种红外成像系统多维度联合非均匀性校正方法 |
CN109343036A (zh) * | 2018-09-06 | 2019-02-15 | 北京理工大学 | 一种三维固态面阵激光雷达标定装置及方法 |
KR20200062729A (ko) * | 2018-11-27 | 2020-06-04 | 현대오트론 주식회사 | 라이다 장치 및 라이다의 신호 처리 방법 |
CN109814085A (zh) * | 2018-12-18 | 2019-05-28 | 歌尔股份有限公司 | 一种激光雷达温度补偿方法、装置、系统和设备 |
CN109816735A (zh) * | 2019-01-24 | 2019-05-28 | 哈工大机器人(合肥)国际创新研究院 | 一种快速标定及校正方法及其tof相机 |
CN109903241A (zh) * | 2019-01-31 | 2019-06-18 | 武汉市聚芯微电子有限责任公司 | 一种tof相机系统的深度图像校准方法及系统 |
Non-Patent Citations (2)
Title |
---|
ZHAI YAYU ET AL.: "A Fast Calibration Method for Photonic Mixer Device Solid-State Array Lidars", JOURNAL SENSORS, vol. 19, no. 4, pages 1 - 21 * |
臧俊恒;李思宁;王骐;刘金波;广宇昊;: "条纹管激光成像雷达条纹图像噪音分析与处理", 光子学报, vol. 37, no. 08, pages 1533 - 1538 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115097427A (zh) * | 2022-08-24 | 2022-09-23 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定系统及方法 |
CN115097427B (zh) * | 2022-08-24 | 2023-02-10 | 北原科技(深圳)有限公司 | 基于飞行时间法的自动标定方法 |
WO2024199177A1 (en) * | 2023-03-24 | 2024-10-03 | Hesai Technology Co., Ltd. | Lidar, calibration method therefor, calibration apparatus therefor, and storage medium |
CN117970350A (zh) * | 2024-03-29 | 2024-05-03 | 深圳市欢创科技股份有限公司 | 测距方法、激光雷达、测距系统、机器人及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112346034B (zh) | 2023-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112346034B (zh) | 一种三维固态面阵激光雷达组合标定方法 | |
CN109903241B (zh) | 一种tof相机系统的深度图像校准方法及系统 | |
CN109816735B (zh) | 一种快速标定及校正方法及其tof相机 | |
CN107255521B (zh) | 一种红外图像非均匀性校正方法及系统 | |
US8306323B2 (en) | Method and apparatus for correcting depth image | |
CN102042878A (zh) | 一种去除温漂的红外非均匀性校正方法 | |
CN111508011A (zh) | 一种飞行时间相机的深度数据校准方法 | |
CN114494031B (zh) | 一种相机定位补偿矫正装置和方法 | |
CN109697957B (zh) | 图像像素校正方法及系统 | |
CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
EP2870586A1 (en) | System and method for residual analysis of images | |
CN106017695A (zh) | 基于运动状态估计的自适应红外非均匀性校正方法 | |
CN114979500B (zh) | 图像处理方法、图像处理装置、电子设备及可读存储介质 | |
CN109003312A (zh) | 一种基于非线性优化的相机标定方法 | |
CN111161183A (zh) | 一种口腔ct中平板探测器坏像素点校正方法 | |
CN111998961B (zh) | 基于像素点温漂估计的红外焦平面非均匀性校正方法 | |
CN112419427A (zh) | 用于提高飞行时间相机精度的方法 | |
CN112634375A (zh) | 一种ai智能检测中的平面标定和三维重建方法 | |
WO2021127972A1 (zh) | 一种图像处理方法、装置、成像设备及可移动载体 | |
CN112381882A (zh) | 一种搭载高光谱设备的无人机影像自动化校正方法 | |
CN103997611A (zh) | 一种基于噪声模板的图像固定模式噪声的抑制方法 | |
CN103868601A (zh) | Irfpa探测器非均匀响应的双边全变分正则化校正方法 | |
CN115734089A (zh) | 半导体光电传感器暗电流的校正方法和系统 | |
CN112213711B (zh) | 一种tof相机的校准方法 | |
CN113706424B (zh) | 一种基于人工智能的果冻效应图像校正方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |