CN117538860A - 一种室内浓雾环境下的伪三维雷达数据生成方法 - Google Patents
一种室内浓雾环境下的伪三维雷达数据生成方法 Download PDFInfo
- Publication number
- CN117538860A CN117538860A CN202311578783.7A CN202311578783A CN117538860A CN 117538860 A CN117538860 A CN 117538860A CN 202311578783 A CN202311578783 A CN 202311578783A CN 117538860 A CN117538860 A CN 117538860A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- thermal imaging
- dimensional
- radar data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000001931 thermography Methods 0.000 claims abstract description 58
- 238000003708 edge detection Methods 0.000 claims abstract description 7
- 238000001914 filtration Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种室内浓雾环境下的伪三维雷达数据生成方法，包括以下步骤：S1,获取二维雷达数据和热成像相机数据：S2，新定义三维点云数据；S3，使用单目深度估计方法从热成像图像得到热成像点云pT；S4，将热成像的点云转化为伪激光雷达数据，并进行噪声去除；S5，使用sobe l滤波对热成像图像进行边缘检测，得到边缘点云信息；S6，合并处理S4和S5获得的点云数据；S7，将S6中获得的点云于二维雷达数据进行集成，得到伪三维雷达数据。本发明提供了一种室内浓雾环境下的伪三维雷达数据生成方法，利用二维雷达和热成像相机生成伪三维雷达数据，从而解决在室内浓雾环境下机器人对环境感知精度低的问题。
Description
技术领域
本发明涉及室内定位技术领域，尤其涉及一种室内浓雾环境下的伪三维雷达数据生成方法。
背景技术
随着科技的发展，越来越多的智能机器人也运用到人们的日常生活中了，而其中智能机器人能够进行空间位置的识别、避障等功能的实现，离不开其定位导轨的数据支持。目前，智能机器人在室内定位导航中主要采用激光SLAM，视觉SLAM，惯性SLAM，视觉激光惯性融合SLAM，通过获取传感器数据对环境进行感知，对环境进行建图，对自身在地图中进行定位，最终规划出一条到达终点坐标的路径。
而现有在环境识别中，一些特殊的浓雾环境中，现有的感知方案均存在一一些问题：激光雷达在浓雾环境中，由于浓雾中的水滴和颗粒对激光束的散射和吸收，使得返回的雷达数据不准确；相机在可见度低的环境下，难以对特征点进行提取，使其不能对环境很好地感知，达不到较好的定位效果，因此，在室内浓雾环境下，传统传感器如激光雷达、相机，功能受限，难以在室内浓雾环境下精确定位。
发明内容
本发明的目的在于提供一种室内浓雾环境下的伪三维雷达数据生成方法，利用二维雷达和热成像相机生成伪三维雷达数据，从而解决在室内浓雾环境下机器人对环境感知精度低的问题。
本发明公开的一种室内浓雾环境下的伪三维雷达数据生成方法所采用的技术方案是:
一种室内浓雾环境下的伪三维雷达数据生成方法，包括以下步骤：
S1,获取二维雷达数据和热成像相机数据：
S2，新定义三维点云数据；
S3，使用单目深度估计方法从热成像图像得到热成像点云pT；
S4，将热成像的点云转化为伪激光雷达数据，并进行噪声去除；
S5，使用sobel滤波对热成像图像进行边缘检测，得到边缘点云信息；
S6，合并处理S4和S5获得的点云数据；
S7，将S6中获得的点云于二维雷达数据进行集成，得到伪三维雷达数据。
作为优选方案，S1中获取二维雷达的点云数据信息，具体为每个激光束的角度和距离以及热成像相机所拍摄的图像。
作为优选方案，在S2中具体步骤为：
S2-1，定义在垂直方向的角分辨率resv和水平方向的角分辨率resh，以及对应的视场角FOVv，FOVh；
S2-2，定义三维雷达的矩阵表示格式(n,h,γ)，其中γ为点云到雷达坐标系零点的距离，n和h分别为垂直方向和水平方向上激光束的索引，具体表示为
S2-3，对于新定义的三维点云数据，确定一条激光束的方向需要只需要知道水平方向的角度和垂直方向的角度，而对于激光束的具体长度此时未知，所以用二维的量i,j，相当于平常中常说的第(i，j)个点，即存在三维点pL(i,j)，其水平角度和垂直角度θL(i,j)，其中/>
作为优选方案，在S3中，具体步骤为：
S3-1，使用单目深度估计方法从热成像图像得到热成像点云；
S3-2，收集已知深度的标定物体，以及相应的热成像图像信息，作为数据集进行训练；
S3-3，使用相机标定和特征点匹配将热成像图像和RGB图像对齐；
S3-4，使用卷积神经网络接受热成像图像和RGB图像作为输入，输出深度图；
S3-5，损失函数定义：
均方误差：
深度差异损失：
作为优选方案，在S4中，具体步骤为：
S4-1,将pT中的点转化为p′T(i,j)，其对应的水平角度和垂直角度为和θL(i,j)，在伪三维雷达数据中存在索引；
S4-2，对pT中所有点在垂直方向上进行线性插值，假设pT中两个垂直方向的临近点pt(m,k)和pt(n,k)，插入满足条件的p′t(i,k)，p′t(i,k)的相关参数计算公式为：
Z′t(i,k)＝V′tanθt(t,j)
S4-3，对于pT中所有点在水平方向上进行线性插值，假设pT中两个水平方向的临近点p′t(i,k),p′t(i,l)，插入满足条件的p′T(i,j)，p′T(i,j)的相关参数计算公式为：
S4-4，当临近点距离过远时，不进行插值；
S4-5，将获得的插值点的矩阵转化为新定义三维点云数据格式；
S4-6，使用DBSCAN对伪激光雷达数据的离群点进行分割。
作为优选方案，在S5中，具体步骤为：
S5-1，在热成像图像中对温度求取水平方向梯度Gx和垂直方向梯度Gy，
S5-2，计算每个像素点的热梯度赋值G
S5-3，计算每个像素点的梯度方向θ
S5-4，通过阀值进行边缘检测，当像素点的热梯度G>ε时，被判定为边缘像素点。
作为优选方案，在S7中，如果热成像图像处理后获得的点云与雷达获得的点云数据存在相同的索引，当环境被判定为浓雾环境时，使用热成像图像处理后获得的点云，否则使用二维激光雷达的点云。
本发明公开的一种室内浓雾环境下的伪三维雷达数据生成方法的有益效果是：在室内浓雾条件下应用热成像相机对环境进行感知，新定义三维点云数据，给环境信息设立标准，使用单目深度估计方法进行深度估计，通过两临近点云间插点的方式，将热成像图像中获取的点云数据转移至雷达数据索引范围内，将从热成像图像中获取的点云数据转化为伪雷达数据，并赋予相应的索引，使用DBSCAN对伪激光雷达数据的离群点进行分割，通过判断环境是否为浓雾环境，对点云数据进行筛选并集成利用二维雷达和热成像相机生成伪三维雷达数据，从而解决在室内浓雾环境下机器人对环境感知精度低的问题。
附图说明
图1是本发明一种室内浓雾环境下的伪三维雷达数据生成方法的流程图。
具体实施方式
下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:
请参考图1，一种室内浓雾环境下的伪三维雷达数据生成方法，包括以下步骤：
S1,获取二维雷达数据和热成像相机数据，具体为每个激光束的角度和距离以及热成像相机所拍摄的图像。
S2，新定义三维点云数据，具体步骤为：
S2-1，定义在垂直方向的角分辨率resv和水平方向的角分辨率resh，以及对应的视场角FOVv，FOVh；
S2-2，定义三维雷达的矩阵表示格式(n,h,γ)，其中γ为点云到雷达坐标系零点的距离，n和h分别为垂直方向和水平方向上激光束的索引，具体表示为
S2-3，对于新定义的三维点云数据，存在三维点pL(i,j)，其水平角度和垂直角度θL(i,j)，其中/>
S3，使用单目深度估计方法从热成像图像得到热成像点云pT，具体步骤为：
S3-1，使用单目深度估计方法从热成像图像得到热成像点云；
S3-2，收集已知深度的标定物体，以及相应的热成像图像信息，作为数据集进行训练；
S3-3，使用相机标定和特征点匹配将热成像图像和RGB图像对齐；
S3-4，使用卷积神经网络接受热成像图像和RGB图像作为输入，输出深度图；
S3-5，损失函数定义：
均方误差：
深度差异损失：
S4，将热成像的点云转化为伪激光雷达数据，并进行噪声去除，由于PT是稀疏点云，所在的三维位置不一定在伪三维雷达的索引范围内，所以需要将PT转化为在伪三维雷达数据中存在索引的最近点，具体步骤为：
S4-1,将pT中的点转化为p′T(i,j)，其对应的水平角度和垂直角度为和θL(i,j)，在伪三维雷达数据中存在索引；
S4-2，对pT中所有点在垂直方向上进行线性插值，m,k是pT中点云数据垂直方向和水平方向的索引，假设pT中两个垂直方向的临近点pt(m,k)和pt(n,k)，插入满足条件的p′t(i,k)，p′t(i,k)的相关参数计算公式为：
Z′t(i,k)＝V′tanθt(t,j)
T代表点集，t代表单一点；
S4-3，对于pT中所有点在水平方向上进行线性插值，假设pT中两个水平方向的临近点p′t(i,k),p′t(i,l)，插入满足条件的p′T(i,j)，p′T(i,j)的相关参数计算公式为：
S4-4，当临近点距离过远时，不进行插值；
S4-5，将获得的插值点的矩阵转化为新定义三维点云数据格式；
S4-6，使用DBSCAN对伪激光雷达数据的离群点进行分割。
S5，使用sobel滤波对热成像图像进行边缘检测，得到边缘点云信息，具体步骤为：
S5-1，在热成像图像中对温度求取水平方向梯度Gx和垂直方向梯度Gy，
S5-2，计算每个像素点的热梯度赋值G
S5-3，计算每个像素点的梯度方向θ
S5-4，通过阀值进行边缘检测，当像素点的热梯度G>ε时，被判定为边缘像素点。
S6，合并处理S4和S5获得的点云数据。
S7，将S6中获得的点云于二维雷达数据进行集成，得到伪三维雷达数据，在S7中，如果热成像图像处理后获得的点云与雷达获得的点云数据存在相同的索引，当环境被判定为浓雾环境时，使用热成像图像处理后获得的点云，否则使用二维激光雷达的点云。
本发明提供一种室内浓雾环境下的伪三维雷达数据生成方法，在室内浓雾条件下应用热成像相机对环境进行感知，新定义三维点云数据，给环境信息设立标准，使用单目深度估计方法进行深度估计，通过两临近点云间插点的方式，将热成像图像中获取的点云数据转移至雷达数据索引范围内，将从热成像图像中获取的点云数据转化为伪雷达数据，并赋予相应的索引，使用DBSCAN对伪激光雷达数据的离群点进行分割，通过判断环境是否为浓雾环境，对点云数据进行筛选并集成利用二维雷达和热成像相机生成伪三维雷达数据，从而解决在室内浓雾环境下机器人对环境感知精度低的问题。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (7)
1.一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，包括以下步骤：
S1,获取二维雷达数据和热成像相机数据：
S2，新定义三维点云数据；
S3，使用单目深度估计方法从热成像图像得到热成像点云pT；
S4，将热成像的点云转化为伪激光雷达数据，并进行噪声去除；
S5，使用sobel滤波对热成像图像进行边缘检测，得到边缘点云信息；
S6，合并处理S4和S5获得的点云数据；
S7，将S6中获得的点云于二维雷达数据进行集成，得到伪三维雷达数据。
2.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，S1中获取二维雷达的点云数据信息，具体为每个激光束的角度和距离以及热成像相机所拍摄的图像。
3.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，在S2中具体步骤为：
S2-1，定义在垂直方向的角分辨率resv和水平方向的角分辨率resh，以及对应的视场角FOVv，FOVh；
S2-2，定义三维雷达的矩阵表示格式(n,h,γ)，其中γ为点云到雷达坐标系零点的距离，n和h分别为垂直方向和水平方向上激光束的索引，具体表示为
S2-3，对于新定义的三维点云数据，确定一条激光束的方向需要只需要知道水平方向的角度和垂直方向的角度，而对于激光束的具体长度此时未知，所以用二维的量i,j，相当于平常中常说的第(i，j)个点，即存在三维点pL(i,j)，其水平角度和垂直角度θL(i,j)，其中/>
4.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，在S3中，具体步骤为：
S3-1，使用单目深度估计方法从热成像图像得到热成像点云；
S3-2，收集已知深度的标定物体，以及相应的热成像图像信息，作为数据集进行训练；
S3-3，使用相机标定和特征点匹配将热成像图像和RGB图像对齐；
S3-4，使用卷积神经网络接受热成像图像和RGB图像作为输入，输出深度图；
S3-5，损失函数定义：
均方误差：
深度差异损失：
5.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，在S4中，具体步骤为：
S4-1,将pT中的点转化为p′T(i,j)，其对应的水平角度和垂直角度为和θL(i,j)，在伪三维雷达数据中存在索引；
S4-2，对pT中所有点在垂直方向上进行线性插值，假设pT中两个垂直方向的临近点pt(m,k)和pt(n,k)，插入满足条件的p′t(i,k)，p′t(i,k)的相关参数计算公式为：
Z′t(i,k)＝V′tanθt(t,j)
S4-3，对于pT中所有点在水平方向上进行线性插值，假设pT中两个水平方向的临近点p′t(i,k),p′t(i,l)，插入满足条件的p′T(i,j)，p′T(i,j)的相关参数计算公式为：
S4-4，当临近点距离过远时，不进行插值；
S4-5，将获得的插值点的矩阵转化为新定义三维点云数据格式；
S4-6，使用DBSCAN对伪激光雷达数据的离群点进行分割。
6.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，在S5中，具体步骤为：
S5-1，在热成像图像中对温度求取水平方向梯度Gx和垂直方向梯度Gy，
S5-2，计算每个像素点的热梯度赋值G
S5-3，计算每个像素点的梯度方向θ
S5-4，通过阀值进行边缘检测，当像素点的热梯度G>ε时，被判定为边缘像素点。
7.如权利要求1所述的一种室内浓雾环境下的伪三维雷达数据生成方法，其特征在于，在S7中，如果热成像图像处理后获得的点云与雷达获得的点云数据存在相同的索引，当环境被判定为浓雾环境时，使用热成像图像处理后获得的点云，否则使用二维激光雷达的点云。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311578783.7A CN117538860A (zh) | 2023-11-24 | 2023-11-24 | 一种室内浓雾环境下的伪三维雷达数据生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311578783.7A CN117538860A (zh) | 2023-11-24 | 2023-11-24 | 一种室内浓雾环境下的伪三维雷达数据生成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117538860A true CN117538860A (zh) | 2024-02-09 |
Family
ID=89789662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311578783.7A Pending CN117538860A (zh) | 2023-11-24 | 2023-11-24 | 一种室内浓雾环境下的伪三维雷达数据生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117538860A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170307735A1 (en) * | 2016-04-22 | 2017-10-26 | Mohsen Rohani | Object detection using radar and machine learning |
| CN111369541A (zh) * | 2020-03-06 | 2020-07-03 | 吉林大学 | 一种智能汽车恶劣天气条件下车辆检测方法 |
| US20210192762A1 (en) * | 2019-12-20 | 2021-06-24 | Board Of Trustees Of The University Of Illinois | Neural network-based millimeter-wave imaging system |
| CN114332792A (zh) * | 2021-12-09 | 2022-04-12 | 苏州驾驶宝智能科技有限公司 | 基于关键点多尺度融合的立体场景目标检测方法及系统 |
-
2023
- 2023-11-24 CN CN202311578783.7A patent/CN117538860A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170307735A1 (en) * | 2016-04-22 | 2017-10-26 | Mohsen Rohani | Object detection using radar and machine learning |
| US20210192762A1 (en) * | 2019-12-20 | 2021-06-24 | Board Of Trustees Of The University Of Illinois | Neural network-based millimeter-wave imaging system |
| CN111369541A (zh) * | 2020-03-06 | 2020-07-03 | 吉林大学 | 一种智能汽车恶劣天气条件下车辆检测方法 |
| CN114332792A (zh) * | 2021-12-09 | 2022-04-12 | 苏州驾驶宝智能科技有限公司 | 基于关键点多尺度融合的立体场景目标检测方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| AHMET FARUK AKYUZ: "Depth Estimation in DNN Using Stereo Thermal Image Pairs", WORLD ACADEMY OF SCIENCE, ENGINEERING AND TECHNOLOGY INTERNATIONAL JOURNAL OF COMPUTER AND INFORMATION ENGINEERING, 31 December 2022 (2022-12-31) * |
| NAMIL KIM: "Multispectral Transfer Network: Unsupervised Depth Estimation for All-Day Vision", THE THIRTY-SECOND AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-18), 27 April 2018 (2018-04-27), pages 1 - 4 * |
| SEHWAN RHO: "LiDAR-Stereo Thermal Sensor Fusion for Indoor Disaster Environment", IEEE SENSORS JOURNAL, 1 April 2023 (2023-04-01), pages 1 * |
| 赵龙: "3.2.4 图像锐化", 机器视觉及应用, 31 July 2022 (2022-07-31), pages 89 - 90 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105866790B (zh) | 一种考虑激光发射强度的激光雷达障碍物识别方法及系统 | |
| EP3517997A1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
| US8564657B2 (en) | Object motion detection system based on combining 3D warping techniques and a proper object motion detection | |
| CN108564525A (zh) | 一种基于多线激光雷达的3d点云2d化数据处理方法 | |
| Xiao et al. | Monocular vehicle self-localization method based on compact semantic map | |
| JP5023186B2 (ja) | ３ｄワーピング手法と固有対象物運動（ｐｏｍ）の検出の組み合わせに基づく対象物の動き検出システム | |
| CN107850449A (zh) | 用于生成及使用定位参考数据的方法及系统 | |
| KR20160123668A (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
| WO2022067647A1 (zh) | 一种路面要素确定方法及装置 | |
| WO2020233436A1 (zh) | 车辆速度确定方法及车辆 | |
| CN110751123A (zh) | 一种单目视觉惯性里程计系统及方法 | |
| CN111476798B (zh) | 一种基于轮廓约束的车辆空间形态识别方法及系统 | |
| CN114964276A (zh) | 一种融合惯导的动态视觉slam方法 | |
| CN116619358A (zh) | 一种矿山自主探测机器人自适应定位优化与建图方法 | |
| Tao et al. | Automated processing of mobile mapping image sequences | |
| CN103744110B (zh) | 超声与单目视觉传感器结合的障碍物识别装置 | |
| CN113487631A (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 | |
| CN117406234A (zh) | 基于单线激光雷达与视觉融合的目标测距和追踪的方法 | |
| CN112611376A (zh) | 一种RGI-Lidar/SINS紧耦合AUV水下导航定位方法与系统 | |
| Wang et al. | Micro aerial vehicle navigation with visual-inertial integration aided by structured light | |
| WO2021063756A1 (en) | Improved trajectory estimation based on ground truth | |
| CN117538860A (zh) | 一种室内浓雾环境下的伪三维雷达数据生成方法 | |
| CN115937449A (zh) | 高精地图生成方法、装置、电子设备和存储介质 | |
| CN112985388B (zh) | 基于大位移光流法的组合导航方法及系统 | |
| CN115167413A (zh) | 一种基于概率栅格的多源不确定性模型建立方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |