CN117687042B - 一种多雷达数据融合方法、系统和设备 - Google Patents
一种多雷达数据融合方法、系统和设备 Download PDFInfo
- Publication number
- CN117687042B CN117687042B CN202410152962.2A CN202410152962A CN117687042B CN 117687042 B CN117687042 B CN 117687042B CN 202410152962 A CN202410152962 A CN 202410152962A CN 117687042 B CN117687042 B CN 117687042B
- Authority
- CN
- China
- Prior art keywords
- radar
- data
- coordinate system
- point cloud
- laser
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 238000004364 calculation method Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000009434 installation Methods 0.000 claims abstract description 42
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 230000008447 perception Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 27
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- GSFCOAGADOGIGE-UHFFFAOYSA-N 2-amino-2-methyl-3-phosphonooxypropanoic acid Chemical compound OC(=O)C(N)(C)COP(O)(O)=O GSFCOAGADOGIGE-UHFFFAOYSA-N 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000005291 magnetic effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005065 mining Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012942 design verification Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提出了一种多雷达数据融合方法、系统和设备，属于设备勘测导航技术领域，该方法包括以下步骤：获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。基于一种多雷达数据融合方法，还提出了一种多雷达数据融合系统和设备。本发明实现了对多个高精度雷达原始数据的快速转换和处理及坐标系转换融合形成更大感知视野，减少感知盲区。
Description
技术领域
本发明属于设备勘测导航技术领域，特别涉及一种多雷达数据融合方法、系统和设备。
背景技术
在自动驾驶技术领域，雷达，特别是激光雷达，是一种常用的传感器，用于测量周围环境并生成点云数据。这些数据可以用来识别物体、测量距离，以及生成环境的3D映射。然而，处理这些数据需要大量的计算能力，特别是在实时应用中，这是一个重大的挑战。此外，由于雷达数据的特殊性，例如噪声、分辨率和准确性，对数据的预处理也是必不可少的。
传统的处理方法通常在中央处理器（CPU）或图形处理器（GPU）上进行，这些设备可以执行复杂的算法，但并不总是能满足实时性的要求。尤其是在涉及大量数据和复杂运算的应用中，如实时点云数据处理和3D地图生成，CPU和GPU的处理能力可能会成为瓶颈。传统的处理方法中还有使用其他可编程逻辑芯片的方案，虽然可以提供更高的性能，但它们通常需要复杂的设计和优化，以及深入的硬件设计知识。此外，雷达数据的处理通常需要复杂的数学运算，如矩阵运算和坐标转换，这在硬件上实现较为困难。所以通常自动驾驶汽车单雷达数据无法对外界环境进行全面感知，存在盲区较多，特别是大型车辆雷达的感知区域受限，所以需要采用多个雷达传感器进行环境感知，但每个雷达传感器都是以自身作为坐标系中心，如果将多个雷达数据融合需要消耗大量算力，且很难达到实时环境感知。
发明内容
为了解决上述技术问题，本发明提出了一种多雷达数据融合方法、系统和设备，以实现对多个高精度雷达原始数据的快速转换和处理及坐标系转换融合形成更大感知视野，减少感知盲区。
为实现上述目的，本发明采用以下技术方案：
一种多雷达数据融合方法，包括以下步骤：
获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；
将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；
根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。
进一步的，所述多激光雷达原始点云数据的数据结构包括主数据流输出协议和设备信息输出协议。
进一步的，所述主数据流输出协议包括水平偏移角度；雷达回波距离/>和激光线束的纵向发射角度/>；
所述设备信息输出协议包括垂直角标定、水平角标定/>和安装误差；其中安装误差包括/>和/>；/>表示水平方向雷达的安装误差；/>表示垂直方向雷达的安装误差。
进一步的，所述将原始点云数据转化至笛卡尔坐标系下的公式为：
；
；
；
其中，代表笛卡尔坐标系中点云数据的x轴数据；/>代表笛卡尔坐标系中点云数据的y轴数据，/>代表笛卡尔坐标系中点云数据的z轴数据；/>代表激光线束不同激光通道的纵向发射角度；/>代表不同/>下的水平偏移角度；/>代表激光雷达水平偏转角度；/>为垂直角标定，即激光线束不同激光通道的垂直角修正；/>水平角标定，即激光线束不同激光通道的水平角修正；/>代表激光通道。
进一步的，所述将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示的公式为：
；
；
。
进一步的，所述根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的过程为：确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点。
进一步的，所述基于四元数的旋转算法矩阵表达式为：
；
其中，为系统实时输入的旋转参数四元数。
进一步的，所述确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的详细计算过程为：
；
其中，为雷达姿态偏移；/>为以车为中心的坐标点。
本发明还提出了一种多雷达数据融合系统，包括转化模块、整合模块和融合模块；
所述转化模块用于获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；
所述整合模块用于将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；
所述融合模块用于根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。
本发明还提出了一种多雷达数据融合设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现一种多雷达数据融合方法。
发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明提出了一种多雷达数据融合方法、系统和设备，属于设备勘测导航技术领域，该方法包括以下步骤：获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。基于一种多雷达数据融合方法，还提出了一种多雷达数据融合系统和设备。本发明实现了对多个高精度雷达原始数据的快速转换和处理及坐标系转换融合形成更大感知视野，减少感知盲区。
本发明建立高效能雷达原始数据处理机制，实现高精度雷达原始数据转化为以雷达为坐标点中心的点云，并根据不同雷达出厂参数不同进行差值补偿，后续并根据不同雷达的初始安装位置不同，将雷达点云数据转化为以车为中心的同一坐标系下，总体处理延时在百纳秒内，极大的为后期激光雷达算法降低计算负担，并提高实时性。
本发明应用四元数输入减小输入参数量，同时建立高速率、高并行性点云坐标旋转电路，极大的提高了数据处理速度，为后续应用平台节省算力，提升系统实时性和准确性。
附图说明
图1为本发明实施例1提出的一种多雷达数据融合方法流程图；
图2为本发明实施例1提出的多激光雷达原始点云数据存储在BRAM的示意图；
图3为本发明实施例1提出的采用定点数计算框架表示用于减少冗余计算的程序过程图；
图4为本发明实施例2提出的一种多雷达数据融合系统示意图；
图5为本发明实施例3提出的一种多雷达数据融合系统设备与用户端连接示意图。
具体实施方式
为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。
实施例1
本发明实施例1提出了一种多雷达数据融合方法，适用于大型自动驾驶矿卡，用于解决现有技术中多雷达数据融合存在的技术问题。
图1为本发明实施例1提出的一种多雷达数据融合方法流程图；
在步骤S100中，获取多激光雷达原始点云数据，本发明中激光雷达传感器的软件驱动程序被重构并移至片上处理器系统中，而可编程逻辑芯片被设计为定制的硬件加速器。
本发明中激光雷达原始点云数据结构包括主数据流输出协议MSOP和设备信息输出协议DIFOP。
主数据流输出协议MSOP包括水平偏移角度；雷达回波距离/>和激光线束的纵向发射角度/>。
设备信息输出协议DIFOP包括垂直角标定、水平角标定/>和安装误差；其中安装误差包括/>和/>；/>表示水平方向雷达的安装误差；/>表示垂直方向雷达的安装误差。
图2为本发明实施例1提出的多激光雷达原始点云数据存储在BRAM的示意图；本申请中原始点云数据决定了误差补偿后数据的准确性，但对于每个雷达来说都是固定的。因此，只需在系统启动时计算一次并将其存储在BRAM中，即可获得更高的计算效率。
在步骤S110中，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；（X,Y,Z）为笛卡尔坐标系下点云数据的位置，原始点云信息输入后经过误差弥补的初始坐标，也是后续转化为以自车为坐标系坐标点的输入（X,Y,Z）每个雷达的输入都是基于雷达所在位置为中心的原始坐标，转换后都是以车辆为中心的坐标点，都为一个基准，所以可以组合成一个更大的感知域，并消除大部分车辆盲区。
将原始点云数据转化至笛卡尔坐标系下的公式为：
；
；
；
其中，代表笛卡尔坐标系中点云数据的x轴数据；/>代表笛卡尔坐标系中点云数据的y轴数据，/>代表笛卡尔坐标系中点云数据的z轴数据；/>代表激光线束不同激光通道的纵向发射角度；/>代表不同/>下的水平偏移角度；/>代表激光雷达水平偏转角度；雷达旋转一周360°每次偏转0.4°；/>为垂直角标定，即激光线束不同激光通道的垂直角修正；/>水平角标定，即激光线束不同激光通道的水平角修正；/>代表激光通道。
在步骤S120中，将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；图3为本发明实施例1提出的采用定点数计算框架表示用于减少冗余计算的程序过程图；为提高计算效率采用定点数计算框架，并将参数整合，减少冗余计算，将计算公式整理为：
；
；
。
因激光lidar都是以规定频率及周期旋转，则每次偏转角度为固定，根据型号不同输出线束角度/>也为固定，所以如上公式所示，可以将每次系统启动后的计算系数cos，sin等值计算一次后存储，在实时/>输入时进行计算，并依靠FPGA的并行计算特性，以上公式只需3个时钟周期即可完成。
其中与channel有关的参数不同，但同一雷达为固定的，在启动时只需计算一次，存储到片上RAM内直接调用即可通过化简后的公式如*Cos/>与/>*Sin/>及Cos/>Cos/>和Sin/>Sin/>等只需在/>输入时计算一次，合并同类项，极大地减少了不规则运算，减少计算次数，提高效率。设计定点数框架因三角函数的值永远小于1，所以只需一个整数位一个符号位，根据精度需求可以设计不同的小数位，本设计验证后再10个小数位时精度可以保证后续算法应用，量化计算量，减少资源的无效消耗。
在步骤S130中，根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。
本申请中，在数据输入阶段就对数据进行直接处理，根据提前预设不同雷达的安装位置，直接将数据融合，实时转化为以自车中心为坐标系中心得点云感知域。得到一幅更全面、细节更好、盲区更少的的感知点云地图，为大型自动驾驶矿卡提供可靠的数据保障。
根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的过程为：确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点。
基于四元数的旋转算法矩阵表达式为：
；
其中，为系统实时输入的旋转参数四元数。
确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的详细计算过程为：
；
其中，为雷达姿态偏移；/>为以车为中心的坐标点。
直接对采用定点数计算框架表示的第一中间数据进行旋转，计算时间小于30ns，可达到对实时数据进行流处理，并可实时更新系统实时输入旋转参数，高效处理点云数据，服务后端应用。
本发明实施例1提出的一种多雷达数据融合方法，实现了对多个高精度雷达原始数据的快速转换和处理及坐标系转换融合形成更大感知视野，减少感知盲区。
本发明实施例1提出的一种多雷达数据融合方法，建立高效能雷达原始数据处理机制，实现高精度雷达原始数据转化为以雷达为坐标点中心的点云，并根据不同雷达出厂参数不同进行差值补偿，后续并根据不同雷达的初始安装位置不同，将雷达点云数据转化为以车为中心的同一坐标系下，总体处理延时在百纳秒内，极大的为后期激光雷达算法降低计算负担，并提高实时性。
本发明实施例1提出的一种多雷达数据融合方法，应用四元数输入减小输入参数量，同时建立高速率、高并行性点云坐标旋转电路，极大的提高了数据处理速度，为后续应用平台节省算力，提升系统实时性和准确性。
实施例2
基于本发明实施例1提出的一种多雷达数据融合方法，本发明实施例2还提出了一种多雷达数据融合系统，图4为本发明实施例2提出的一种多雷达数据融合系统示意图；该系统包括：转化模块、整合模块和融合模块；
转化模块用于获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；
整合模块用于将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；
融合模块用于根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。
转化模块实现的过程包括：本发明中激光雷达原始点云数据结构包括主数据流输出协议MSOP和设备信息输出协议DIFOP。
主数据流输出协议MSOP包括水平偏移角度；雷达回波距离/>和激光线束的纵向发射角度/>。
设备信息输出协议DIFOP包括垂直角标定、水平角标定/>和安装误差；其中安装误差包括/>和/>；/>表示水平方向雷达的安装误差；/>表示垂直方向雷达的安装误差。
将原始点云数据转化至笛卡尔坐标系下的公式为：
；
；
；
其中，代表笛卡尔坐标系中点云数据的x轴数据；/>代表笛卡尔坐标系中点云数据的y轴数据，/>代表笛卡尔坐标系中点云数据的z轴数据；/>代表激光线束不同激光通道的纵向发射角度；/>代表不同/>下的水平偏移角度；/>代表激光雷达水平偏转角度；雷达旋转一周360°每次偏转0.4°；/>为垂直角标定，即激光线束不同激光通道的垂直角修正；/>水平角标定，即激光线束不同激光通道的水平角修正；/>代表激光通道。
整合模块实现的过程包括：将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算。
将计算公式整理为：
；
；
。
融合模块实现的过程包括：在数据输入阶段就对数据进行直接处理，根据提前预设不同雷达的安装位置，直接将数据融合，实时转化为以自车中心为坐标系中心得点云感知域。得到一幅更全面、细节更好、盲区更少的的感知点云地图，为大型自动驾驶矿卡提供可靠的数据保障。
根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的过程为：确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点。
基于四元数的旋转算法矩阵表达式为：
；
其中，为系统实时输入的旋转参数四元数。
确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的详细计算过程为：
；
其中，为雷达姿态偏移；/>为以车为中心的坐标点。
直接对采用定点数计算框架表示的第一中间数据进行旋转，计算时间小于30ns，可达到对实时数据进行流处理，并可实时更新系统实时输入旋转参数，高效处理点云数据，服务后端应用。
本发明实施例2提出的一种多雷达数据融合系统，实现了对多个高精度雷达原始数据的快速转换和处理及坐标系转换融合形成更大感知视野，减少感知盲区。
本发明实施例2提出的一种多雷达数据融合系统，建立高效能雷达原始数据处理机制，实现高精度雷达原始数据转化为以雷达为坐标点中心的点云，并根据不同雷达出厂参数不同进行差值补偿，后续并根据不同雷达的初始安装位置不同，将雷达点云数据转化为以车为中心的同一坐标系下，总体处理延时在百纳秒内，极大的为后期激光雷达算法降低计算负担，并提高实时性。
本发明实施例2提出的一种多雷达数据融合系统，应用四元数输入减小输入参数量，同时建立高速率、高并行性点云坐标旋转电路，极大的提高了数据处理速度，为后续应用平台节省算力，提升系统实时性和准确性。
实施例3
本发明还提出了一种多雷达数据融合设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现方法步骤如下：
在步骤S100中，获取多激光雷达原始点云数据，本发明中激光雷达传感器的软件驱动程序被重构并移至片上处理器系统中，而可编程逻辑芯片被设计为定制的硬件加速器。
在步骤S110中，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补。
在步骤S120中，将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算。
在步骤S130中，根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点，所述以车为中心的坐标点融合为点云感知域。
本发明实施例3提出的一种多雷达数据融合设备，基于FPGA的多雷达接口输入。选用FPGA作为主控制器同步时钟基准，并行采集多雷达点云数据，并行处理，保证得到的数据都为同一时刻，建立大视距感知点云信息。
图5为本发明实施例3提出的一种多雷达数据融合系统设备与用户端连接示意图，本发明实施例3提出的一种多雷达数据融合设备最多支持8路雷达数据采集、处理、融合，并可通过千兆网口传递给用户端。
需要说明：本发明技术方案提供的一种多雷达数据融合设备，包括：通信接口，能够与其它设备比如网络设备等进行信息交互；处理器，与通信接口连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的一种多雷达数据融合方法，而所述计算机程序存储在存储器上。当然，实际应用时，电子设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。本申请实施例中的存储器用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。可以理解，存储器可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(FlashMemory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random AccessMemory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random AccessMemory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。上述本申请实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP（Digital Signal Processing，即指能够实现数字信号处理技术的芯片），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的程序，结合其硬件完成前述方法的步骤。处理器执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
本申请实施例2提供的一种多雷达数据融合系统和本发明实施例3提供的一种多雷达数据融合设备中相关部分的说明可以参见本申请实施例1提供的一种多雷达数据融合方法中对应部分的详细说明，在此不再赘述。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (7)
1.一种多雷达数据融合方法，其特征在于，包括以下步骤：
获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；所述多激光雷达原始点云数据的数据结构包括主数据流输出协议和设备信息输出协议；所述主数据流输出协议包括水平偏移角度；雷达回波距离/>和激光线束的纵向发射角度/>；所述设备信息输出协议包括垂直角标定/>、水平角标定/>和安装误差；其中安装误差包括/>和/>；/>表示水平方向雷达的安装误差；/>表示垂直方向雷达的安装误差；
将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；将原始点云数据转化至笛卡尔坐标系下的公式为：
；
；
；
其中，代表笛卡尔坐标系中点云数据的x轴数据；/>代表笛卡尔坐标系中点云数据的y轴数据，/>代表笛卡尔坐标系中点云数据的z轴数据；/>代表激光线束不同激光通道的纵向发射角度；/>代表不同/>下的水平偏移角度；/>代表激光雷达水平偏转角度；/>为垂直角标定，即激光线束不同激光通道的垂直角修正；/>水平角标定，即激光线束不同激光通道的水平角修正；/>代表激光通道；
根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以自车中心为坐标系中心的点云感知域。
2.根据权利要求1所述的一种多雷达数据融合方法，其特征在于，所述将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示的公式为：
；
；
。
3.根据权利要求2所述的一种多雷达数据融合方法，其特征在于，所述根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的过程为：确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点。
4.根据权利要求3所述的一种多雷达数据融合方法，其特征在于，所述基于四元数的旋转算法矩阵表达式为：
；
其中，为系统实时输入的旋转参数四元数。
5.根据权利要求4所述的一种多雷达数据融合方法，其特征在于，所述确定每个雷达安装位置及姿态偏移，采用基于四元数的旋转算法，将采用定点数计算框架表示的第一中间数据旋转平移到以车为中心的坐标点的详细计算过程为：
；
其中，为雷达姿态偏移；/>为以车为中心的坐标点。
6.一种多雷达数据融合系统，用于执行权利要求1至5任意一项所述的一种多雷达数据融合方法，其特征在于，包括转化模块、整合模块和融合模块；
所述转化模块用于获取多激光雷达原始点云数据，将原始点云数据转化为笛卡尔坐标系下的第一中间数据进行误差弥补；
所述整合模块用于将转化至笛卡尔坐标系下的第一中间数据采用定点数计算框架表示用于减少冗余计算；
所述融合模块用于根据每个激光雷达安装位置将采用定点数计算框架表示的第一中间数据旋转平移到以自车中心为坐标系中心的点云感知域。
7.一种多雷达数据融合设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1至5任一项所述的一种多雷达数据融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410152962.2A CN117687042B (zh) | 2024-02-04 | 2024-02-04 | 一种多雷达数据融合方法、系统和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410152962.2A CN117687042B (zh) | 2024-02-04 | 2024-02-04 | 一种多雷达数据融合方法、系统和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117687042A CN117687042A (zh) | 2024-03-12 |
| CN117687042B true CN117687042B (zh) | 2024-05-17 |
Family
ID=90139463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410152962.2A Active CN117687042B (zh) | 2024-02-04 | 2024-02-04 | 一种多雷达数据融合方法、系统和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117687042B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3307872A1 (de) * | 1983-03-05 | 1984-09-06 | Fried. Krupp Gmbh, 4300 Essen | Verfahren zur darstellung von im polarkoordinaten-format vorliegenden digitalisierten daten einer panorama-abtastvorrichtung, wie einer radar-, sonar-anlage od. dgl., auf einem bildschirmraster mit kartesischen koordinaten |
| EP3447532A2 (en) * | 2017-08-21 | 2019-02-27 | Yujin Robot Co., Ltd. | Hybrid sensor with camera and lidar, and moving object |
| CN109975792A (zh) * | 2019-04-24 | 2019-07-05 | 福州大学 | 基于多传感器融合矫正多线激光雷达点云运动畸变的方法 |
| WO2019240664A1 (en) * | 2018-06-12 | 2019-12-19 | St Engineering Land Systems Ltd. | Convoying system based on fusion of data from vision sensors and lidar |
| CN112622893A (zh) * | 2020-12-25 | 2021-04-09 | 北京理工大学前沿技术研究院 | 一种多传感器融合的靶车自动驾驶避障方法及系统 |
| WO2022022694A1 (zh) * | 2020-07-31 | 2022-02-03 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN114167407A (zh) * | 2021-11-29 | 2022-03-11 | 中汽创智科技有限公司 | 一种多雷达融合感知处理方法、装置、车辆及存储介质 |
-
2024
- 2024-02-04 CN CN202410152962.2A patent/CN117687042B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3307872A1 (de) * | 1983-03-05 | 1984-09-06 | Fried. Krupp Gmbh, 4300 Essen | Verfahren zur darstellung von im polarkoordinaten-format vorliegenden digitalisierten daten einer panorama-abtastvorrichtung, wie einer radar-, sonar-anlage od. dgl., auf einem bildschirmraster mit kartesischen koordinaten |
| EP3447532A2 (en) * | 2017-08-21 | 2019-02-27 | Yujin Robot Co., Ltd. | Hybrid sensor with camera and lidar, and moving object |
| WO2019240664A1 (en) * | 2018-06-12 | 2019-12-19 | St Engineering Land Systems Ltd. | Convoying system based on fusion of data from vision sensors and lidar |
| CN109975792A (zh) * | 2019-04-24 | 2019-07-05 | 福州大学 | 基于多传感器融合矫正多线激光雷达点云运动畸变的方法 |
| WO2022022694A1 (zh) * | 2020-07-31 | 2022-02-03 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112622893A (zh) * | 2020-12-25 | 2021-04-09 | 北京理工大学前沿技术研究院 | 一种多传感器融合的靶车自动驾驶避障方法及系统 |
| CN114167407A (zh) * | 2021-11-29 | 2022-03-11 | 中汽创智科技有限公司 | 一种多雷达融合感知处理方法、装置、车辆及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117687042A (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6745328B2 (ja) | 点群データを復旧するための方法及び装置 | |
| CN109781119B (zh) | 一种激光点云定位方法和系统 | |
| US11725944B2 (en) | Method, apparatus, computing device and computer-readable storage medium for positioning | |
| US11430134B2 (en) | Hardware-based optical flow acceleration | |
| JP2020042818A (ja) | ３次元データの生成方法、３次元データの生成装置、コンピュータ機器及びコンピュータ読み取り可能な記憶媒体 | |
| US20230386076A1 (en) | Target detection method, storage medium, electronic device, and vehicle | |
| US20230409886A1 (en) | Method and apparatus for performing deconvolution processing on feature data by using convolution hardware | |
| CN112764004B (zh) | 一种点云处理方法、装置、设备及存储介质 | |
| CN111707262B (zh) | 基于最近点向量投影的点云匹配方法、介质、终端和装置 | |
| JP2022177202A (ja) | レーザーレーダーと測位装置の校正方法、機器及び自律運転車両 | |
| CN114661028A (zh) | 智能驾驶控制器测试方法、装置、计算机设备和存储介质 | |
| CN117687042B (zh) | 一种多雷达数据融合方法、系统和设备 | |
| US8868365B2 (en) | System and method of generating external parameter value for separately excited motor controller | |
| WO2024041447A1 (zh) | 位姿的确定方法、装置、电子设备和存储介质 | |
| CN112598784A (zh) | 轮廓扫描结果的调整方法、装置、电子设备及存储介质 | |
| CN109300120B (zh) | 遥感成像仿真方法及装置 | |
| CN115014332A (zh) | 激光slam建图方法、装置及电子设备、计算机可读存储介质 | |
| US20210311703A1 (en) | Neural network device for neural network operation, operating method of the neural network device, and application processor including the same | |
| CN114488042A (zh) | 一种激光雷达标定方法、装置、电子设备和存储介质 | |
| CN117788592B (zh) | 一种矿井车辆的雷达点云处理装置、方法、设备及介质 | |
| CN111156948A (zh) | 用于3c玻璃面板检测的三维数据坐标校正方法及装置 | |
| JPS63225881A (ja) | 線分抽出装置 | |
| CN111047562B (zh) | 一种处理方法、装置、电子设备及存储介质 | |
| CN113534193B (zh) | 确定目标反射点的方法、装置、电子设备及存储介质 | |
| CN116559927B (zh) | 激光雷达的航向角确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |