CN116430403A - 一种基于低空机载多传感器融合的实时态势感知系统与方法 - Google Patents
一种基于低空机载多传感器融合的实时态势感知系统与方法 Download PDFInfo
- Publication number
- CN116430403A CN116430403A CN202210000758.XA CN202210000758A CN116430403A CN 116430403 A CN116430403 A CN 116430403A CN 202210000758 A CN202210000758 A CN 202210000758A CN 116430403 A CN116430403 A CN 116430403A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- airborne
- coordinate system
- rtk
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000006835 compression Effects 0.000 claims abstract description 29
- 238000007906 compression Methods 0.000 claims abstract description 29
- 238000001914 filtration Methods 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 239000013078 crystal Substances 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000010453 quartz Substances 0.000 claims description 4
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 4
- 230000035755 proliferation Effects 0.000 claims description 3
- 241001334134 Rugopharynx epsilon Species 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 6
- CYTYCFOTNPOANT-UHFFFAOYSA-N Perchloroethylene Chemical compound ClC(Cl)=C(Cl)Cl CYTYCFOTNPOANT-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种基于低空机载多传感器融合的实时态势感知系统与方法，所述系统包括机载采集模块、机载处理模块、空地传输模块、地面处理模块。所述机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；所述机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；所述空地传输模块接收转发新增帧压缩点云和合成视频流；所述地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。本发明综合利用多传感器联合标定与时间同步、激光点云RTK/INS辅助帧间特征点匹配与多场景参数自适应体素滤波及双缓冲八叉树结构压缩等技术，实时采集、处理、传输、应用，实现低空机载多传感器融合的实时态势感知。
Description
技术领域
本发明涉及激光雷达点云拼接和视频纹理映射技术领域，具体涉及一种基于低空机载多传感器融合的实时态势感知系统与方法。
背景技术
随着飞机技术和应用的发展，近年来逐渐用于执行安全保卫、应急救援和风险巡检任务。在突发事故和灾害场景中，需要快速部署获取现场态势信息以支撑评估决策和指挥调度，目前以搭载单一任务载荷的实时视频和快速测绘为主，因实时视频数据类型单一不能用于空间分析等深入应用，快速测绘需返航下载处理难以提供空间数据的实时应用，且受昼夜时段、地物条件和烟雾环境的影响，限制随时飞行作业。
发明内容
针对现有技术的不足，本发明提出了一种基于低空机载多传感器融合的实时态势感知系统与方法，集成固态激光雷达、可见光/红外光相机、RTK/INS单元并联合标定和时间同步，机载端快速匹配、滤波、压缩和拼接激光点云，同步进行双光视频叠加POS信息和合成视频流，实时传输新增帧点云和合成视频流至地面端，迭代生成拼接点云，并与合成视频流进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型，实现低空机载多传感器融合的实时态势感知。
为实现上述目的，本发明提供如下技术方案：
一种基于低空机载多传感器融合的实时态势感知系统，包括机载采集模块、机载处理模块、空地传输模块、地面处理模块。
所述机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；
所述机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；
所述空地传输模块接收转发新增帧压缩点云和合成视频流；
所述地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
作为本发明再进一步的优选方案，所述机载采集模块联合标定的方法为，激光雷达与相机联合标定根据张正友法求取相机的内外参，计算相机原点和激光雷达原点到标定板的法向量作限制条件，利用LM算法对标定模型进行整体优化迭代求取最优解；激光雷达与RTK/INS联合标定采用ICP算法。
作为本发明再进一步的优选方案，所述机载采集模块时间同步的方法为，以高稳石英晶振作为时钟源，结合GPS数据进行校准，RTK/INS单元、相机采用主动同步，激光雷达采用授时同步，激光雷达、相机和RTK/INS单元数据叠加同步时间标签。
作为本发明再进一步的优选方案，所述机载处理模块帧间特征点匹配的方法为，新增帧原始点云预处理剔除异常值，再提取特征点，与先前帧拼接点云进行帧间特征点匹配，获取新增帧匹配点云。
作为本发明再进一步的优选方案，所述机载处理模块特征点提取的方法为，将每帧原始点云进行扇形等分为8个扇区，分别计算排序点的曲率，每个区域选择两个角点和四个面点做为该帧的特征点。
作为本发明再进一步的优选方案，所述机载处理模块RTK/INS辅助模式的方法为，基于RTK/INS单元数据提供帧间特征点匹配激光里程计的预测值与范围值，在规划航线的每个转向航点前后急减速、旋转、急加速区间和直飞航段激光里程计姿态角与INS单元数据偏差超过设置阈值时，自动切换为RTK/INS辅助模式。
作为本发明再进一步的优选方案，所述机载处理模块点云滤波采用基于体素滤波的多场景参数自适应方法，计算新增帧匹配点云及其关联区域先前帧拼接点云中每个点的法向量，统计法向量方向复杂度，复杂度高则体素滤波参数小，保持新增帧匹配点云分辨率和数据，反之则体素滤波参数变大，降低新增帧匹配点云分辨率和数据。
作为本发明再进一步的优选方案，所述机载处理模块点云压缩的方法为，采用双缓冲八叉树结构，第一帧匹配点云执行一次完整的编码，后续只对新增帧滤波点云与先前帧拼接点云的差值进行编码。
作为本发明再进一步的优选方案，所述机载处理模块视频帧叠加POS信息的方法为，通过网口接收机载采集模块可见光和红外光视频数据并通过串口接收机载采集模块RTK/INS数据，视频数据根据时间标签叠加时间同步的POS信息。
作为本发明再进一步的优选方案，所述地面处理模块空间转换和纹理映射的方法为，拼接点云根据激光点云匹配拼接和传感器联合标定参数转换到原始点云局部坐标系和视频像平面坐标系，再定位投影到时间同步的视频帧图像平面，抽取视频图像颜色信息赋色拼接点云。
优选的，本发明还提供一种基于低空机载多传感器融合的实时态势感知方法，包括如下步骤：
(1)机载端集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；
(2)机载端采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；
(3)机载端无线传输新增帧压缩点云和合成视频流至地面端；
(4)地面端新增帧压缩点云迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
与现有技术相比，本发明的有益效果是：基于多传感器的时空统一，机载端快速进行激光点云匹配滤波压缩，实时传输新增帧点云和双光合成视频流，地面端快速进行空间转换和纹理映射，实时迭代增生具有可见光和红外光纹理的高精度三维模型，从而实现基于低空机载多传感器融合的实时态势感知。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的模块架构和技术流程图；
图2是本发明的激光雷达与相机结构示意图；
图3是本发明的激光雷达与相机联合标定空间关系示意图；
图4是本发明的激光雷达与相机联合标定流程图；
图5是本发明的时间同步控制器结构框图；
图6是本发明的激光雷达视域扇形等分示意图；
图7是本发明的规划转向航段切换RTK/INS辅助模式示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明的模块架构和技术流程图，按照功能划分四个功能模块：机载采集模块、机载处理模块、空地传输模块、地面处理模块。机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；空地传输模块接收转发新增帧压缩点云和合成视频流；地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
下面对本发明的功能模块做详细的说明。
机载采集模块：
机载采集模块集成固态激光雷达、可见光相机、红外光相机、RTK/INS单元四种传感器，激光雷达提供高精度的空间点云，可见光相机提供动态影像和纹理信息，红外光相机适用夜间场景和提供温度信息，RTK/INS单元提供激光点云和相机视频帧高精度POS信息并增强激光点云匹配拼接的鲁棒性，以提高环境适应性和数据应用深度。
为保证同视域采集，激光雷达、可见光相机、红外光相机选配相同视角镜头，主光线中心轴线同向平行安装，结构如图2所示。
为支持高精度激光点云拼接和视频纹理融合，需进行多传感器联合标定和时间同步。
多传感器联合标定包括激光雷达与相机和激光雷达与RTK/INS单元的联合标定。
三维空间的激光点云坐标系与二维平面的相机视频像素坐标系之间点的几何关系如图3所示，联合标定模型参数的求解过程也就是激光雷达与相机联合标定的过程，进而将标定参数求解的问题转化为方程求解问题。激光雷达与相机联合标定的方法为，建立联合标定模型，采集激光雷达和相机的标定板数据，根据张正友法求取相机的内外参，计算相机原点和激光雷达原点到标定板的法向量，然后通过两个法向量作限制条件，利用LM算法对标定模型进行整体优化迭代求取最优解，流程如图4所示。
激光雷达与RTK/INS单元联合标定采用ICP算法。
多传感器时间同步的方法为，时间同步控制器以高稳石英晶振作为同步器的时钟源，结合GPS的PPS脉冲和NEMA数据进行校准，利用高稳石英晶体短时稳定性和PPS脉冲长期稳定性的优势，建立高精度时间基准。根据各传感器特性，RTK/INS单元、相机采用主动同步，激光雷达采用授时同步，即以纯硬件方式采集激光雷达、相机和RTK/INS单元数据并叠加同步控制器精确的时间标签作为同步对齐的标志，实现多传感器原始数据的高精度时间同步。时间同步控制器的结构框图如图5所示。
机载处理模块：
机载处理模块采集激光雷达、相机和RTK/INS单元的时间同步数据，采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行相机视频帧叠加POS信息、双光视频合成并输出一路合成视频流。
激光点云帧间特征点匹配，首先对新增帧原始点云进行预处理剔除异常值，再提取特征点，与先前帧拼接点云进行最近点迭代匹配，进而获取新增帧匹配点云和所有帧拼接点云。
帧间特征点匹配算法为，新增帧原始点云P＝{pi＝(xi，yi，zi)}和先前帧拼接点云Q＝{qi＝(xi，yi，zi)}，其中P，Q∈R3，优化刚体变换矩阵
使得
式中，R∈SO(3)为旋转矩阵，t为平移向量，C＝{(i，j)}为特征点对的集合，pj和pj为特征点对。
固态激光雷达利用振片形成原始点云，激光射线视野为圆锥形，为使特征点分布均匀化，避免过于集中导致匹配精度下降，特征点提取的方法为，将每帧原始点云进行扇形等分为8个扇区，如图6所示，在每个扇区中分别计算排序点的曲率，曲率值越大则为角点，越小则为面点，每个区域选择两个角点和四个面点做为该帧的特征点进行匹配，依据角点到直线的距离与面点到平面的距离进行非线性迭代优化。
帧间特征点匹配算法在飞机移动速度较快或转弯角度过大时，容易发生激光里程计失准导致错误匹配，因此本发明在转向航段或匹配异常时，激光雷达点云拼接切换为RTK/INS辅助模式，基于RTK/INS单元数据向帧间特征点匹配提供激光里程计预测值与范围值，增强系统鲁棒性。
转向航段为规划航线的每个转向航点前后的急减速、旋转、急加速区间，根据航线规划数据和飞机飞行POS数据自动切换为RTK/INS辅助模式，如图7所示。
飞机在直飞航段不会出现帧间的运动突变情况，监测激光里程计和INS单元数据，当激光里程计的姿态角与INS单元数据偏差超过设置阈值时，自动切换为RTK/INS辅助模式，阈值一般设置为0.1°。
为减少点云数据量和提高无线数据传输的效率，需对新增帧匹配点云进行滤波和压缩处理。
点云滤波采用基于体素滤波的多场景参数自适应方法，计算新增帧匹配点云及其关联区域先前帧拼接点云中每个点的法向量，统计法向量方向复杂度，复杂度高则体素滤波参数小，保持新增帧匹配点云分辨率和数据，反之则体素滤波参数变大，降低新增帧匹配点云分辨率，去除激光雷达相邻帧重叠区域内的大量位置相近的点，获取新增帧滤波点云。
确定表面一点法线的问题近似于估计表面的一个相切面法线的问题，因此转换过来以后变成一个最小二乘法平面拟合估计问题，分析一个协方差矩阵的特征矢量和特征值，协方差矩阵从查询点的邻近元素中创建。具体的，对于每一个点Pi，对应的协方差矩阵C如下：
式中，K是点Pi邻近点的数目，
表示最近邻元素的三维质心，λj是协方差矩阵的第j个特征值，/>
是协方差矩阵的第j个特征向量。
点云压缩采用双缓冲八叉树结构，第一帧匹配点云执行一次完整的编码，后续只对新增帧滤波点云与先前帧拼接点云的差值进行编码，获取新增帧压缩点云。
双缓冲八叉树数据结构使用的过程是，每个分支节点都有两个缓冲区，当需要创建新的子节点时，在当前分支节点中查找前面指针缓冲区，如果找不到相关的引用指针，即在之前处理过的八叉树结构中不存在相应的体素，则创建新的子节点，且两个缓冲区都初始化为0；如果在前面的指针缓冲区中找到对应的子节点指针，则采用它的引用，并初始化所选的子指针缓冲区为0。初始化完成之后，通过对两个缓存区进行异或操作，得到并编码两个八叉树缓存区之间的差异。
视频帧叠加POS信息的方法为，通过网口接收机载采集模块可见光和红外光视频数据并通过串口接收机载采集模块的RTK/INS数据，根据同步的时间标签，视频数据叠加时间同步的POS信息。
空地传输模块：
空地传输模块具备双网口通道数据输入，可同时接收机载处理模块的激光雷达新增帧压缩点云和可见光、红外光相机合成视频流，通过数传、5G、微波等无线通信技术，传输至地面处理模块。
地面处理模块：
地面处理模块接收激光雷达新增帧压缩点云并迭代拼接生成所有帧的拼接点云，同步接收可见光、红外光相机合成视频流，分别与拼接点云进行时间同步的空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
拼接点云空间转换和纹理映射的方法为，根据激光点云匹配拼接和传感器联合标定参数，转换到原始点云局部坐标系和视频像平面坐标系，再定位投影到时间同步的视频帧图像平面，抽取视频图像颜色信息赋色拼接点云。
具体的，拼接点云先转换到原始点云局部坐标系，根据原始点云的时间标签定位时间同步的纹理映射视频帧图像，公式如下：
XL＝RLGXG+TLG
式中，XL和XG为原始点云局部坐标系和拼接点云坐标系中的三维点；RLG和TLG为拼接点云坐标系到原始点云局部坐标系的旋转和平移矩阵，在机载处理模块进行激光点云匹配拼接时求得，并实时传输到地面处理模块。
拼接点云再转换到相机像空间辅助坐标系，公式如下：
XV＝RVXL+TV
XIR＝RIRXL+TIR
式中，XV和XIR为可见光和红外光相机像空间辅助坐标系中的三维点，XL为原始点云局部坐标系中的三维点；RV和TV为原始点云局部坐标系到可见光相机像空间辅助坐标系的旋转和平移矩阵，RIR和TIR为原始点云局部坐标系到红外光相机像空间辅助坐标系的旋转和平移矩阵，在传感器联合标定时求得。
拼接点云最后转换到视频像平面坐标系，公式如下：
式中，
和/>
为可见光和红外光视频像平面坐标系中的二维点，XV和XIR为可见光和红外光相机像空间辅助坐标系中的三维点；KV和KIR为可见光和红外光相机内方位元素矩阵，在传感器联合标定时求得。
综上所述，本发明综合利用多传感器联合标定与时间同步、激光点云RTK/INS辅助帧间特征点匹配与多场景参数自适应体素滤波及双缓冲八叉树结构压缩等技术，实现低空机载多传感器融合的实时态势感知。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (11)
1.一种基于低空机载多传感器融合的实时态势感知系统，包括机载采集模块、机载处理模块、空地传输模块、地面处理模块。所述机载采集模块集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；所述机载处理模块采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；所述空地传输模块接收转发新增帧压缩点云和合成视频流；所述地面处理模块接收新增帧压缩点云并迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
2.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载采集模块联合标定的方法为，激光雷达与相机联合标定根据张正友法求取相机的内外参，计算相机原点和激光雷达原点到标定板的法向量作限制条件，利用LM算法对标定模型进行整体优化迭代求取最优解；激光雷达与RTK/INS联合标定采用ICP算法。
3.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载采集模块时间同步的方法为，以高稳石英晶振作为时钟源，结合GPS数据进行校准，RTK/INS单元、相机采用主动同步，激光雷达采用授时同步，激光雷达、相机和RTK/INS单元数据叠加同步时间标签。
4.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块帧间特征点匹配的方法为，新增帧原始点云预处理剔除异常值，再提取特征点，与先前帧拼接点云进行帧间特征点匹配，算法为，新增帧原始点云P＝{pi＝(xi，yi，zi)}和先前帧拼接点云Q＝{qi＝(xi，yi，zi)}，其中P，Q∈R3，优化刚体变换矩阵
使得
式中，R∈SO(3)为旋转矩阵，t为平移向量，C＝{(i，j)}为特征点对的集合，pj和pj为特征点对。
5.根据权利要求4所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块特征点提取的方法为，将每帧原始点云进行扇形等分为8个扇区，分别计算排序点的曲率，曲率值越大则为角点，越小则为面点，每个区域选择两个角点和四个面点作为该帧的特征点。
6.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块RTK/INS辅助模式的方法为，基于RTK/INS单元数据提供帧间特征点匹配激光里程计的预测值与范围值，在规划航线的每个转向航点前后急减速、旋转、急加速区间和直飞航段激光里程计姿态角与INS单元数据偏差超过设置阈值时，自动切换为RTK/INS辅助模式，阈值一般设置为0.1°。
7.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块点云滤波采用基于体素滤波的多场景参数自适应方法，计算新增帧匹配点云及其关联区域先前帧拼接点云中每个点的法向量，统计法向量方向复杂度，复杂度高则体素滤波参数小，保持新增帧匹配点云分辨率和数据，反之则体素滤波参数变大，降低新增帧匹配点云分辨率和数据，具体的，对于每一个点Pi，对应的协方差矩阵C如下：
式中，K是点Pi邻近点的数目，
表示最近邻元素的三维质心，λj是协方差矩阵的第j个特征值，/>
是协方差矩阵的第j个特征向量。
8.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块点云压缩的方法为，采用双缓冲八叉树结构，第一帧匹配点云执行一次完整的编码，后续只对新增帧滤波点云与先前帧拼接点云的差值进行编码，过程为每个分支节点都有两个缓冲区，当需要创建新的子节点时，在当前分支节点中查找前面指针缓冲区，如果找不到相关的引用指针，即在之前处理过的八叉树结构中不存在相应的体素，则创建新的子节点，且两个缓冲区都初始化为0；如果在前面的指针缓冲区中找到对应的子节点指针，则采用它的引用，并初始化所选的子指针缓冲区为0；初始化完成之后，通过对两个缓存区进行异或操作，得到并编码两个八叉树缓存区之间的差异。
9.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述机载处理模块视频帧叠加POS信息的方法为，通过网口接收机载采集模块可见光和红外光视频数据并通过串口接收机载采集模块RTK/INS数据，视频数据根据时间标签叠加时间同步的POS信息。
10.根据权利要求1所述的基于低空机载多传感器融合的实时态势感知系统，其特征在于，所述地面处理模块空间转换和纹理映射的方法为，拼接点云根据激光点云匹配拼接和传感器联合标定参数转换到原始点云局部坐标系和视频像平面坐标系，再定位投影到时间同步的视频帧图像平面，抽取视频图像颜色信息赋色拼接点云。
拼接点云先转换到原始点云局部坐标系，根据原始点云的时间标签定位时间同步的纹理映射视频帧图像，公式为：
XL＝RLGXG+TLG
式中，XL和XG为原始点云局部坐标系和拼接点云坐标系中的三维点；RLG和TLG为拼接点云坐标系到原始点云局部坐标系的旋转和平移矩阵，在机载处理模块进行激光点云匹配拼接时求得，并实时传输到地面处理模块。
拼接点云再转换到相机像空间辅助坐标系，公式为：
XV＝RVXL+TV
XIR＝RIRXL+TIR
式中，XV和XIR为可见光和红外光相机像空间辅助坐标系中的三维点，XL为原始点云局部坐标系中的三维点；RV和TV为原始点云局部坐标系到可见光相机像空间辅助坐标系的旋转和平移矩阵，RIR和TIR为原始点云局部坐标系到红外光相机像空间辅助坐标系的旋转和平移矩阵，在传感器联合标定时求得。
拼接点云最后转换到视频像平面坐标系，公式为：
式中，
和/>
为可见光和红外光视频像平面坐标系中的二维点，XV和XIR为可见光和红外光相机像空间辅助坐标系中的三维点；KV和KIR为可见光和红外光相机内方位元素矩阵，在传感器联合标定时求得。
11.一种基于低空机载多传感器融合的实时态势感知方法，其特征在于，包括如下步骤：
(1)机载端集成固态激光雷达、可见光/红外光相机、RTK/INS单元等，选配相同视角镜头并主光线中心轴线同向平行安装，进行联合标定和时间同步；
(2)机载端采用RTK/INS辅助的帧间特征点匹配算法进行激光点云匹配、滤波、压缩、拼接并输出新增帧压缩点云，同步进行双光视频叠加POS信息并输出合成视频流；
(3)机载端无线传输新增帧压缩点云和合成视频流至地面端；
(4)地面端新增帧压缩点云迭代生成拼接点云，与双光视频进行空间转换和纹理映射，迭代增生具有可见光和红外光纹理的高精度三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210000758.XA CN116430403A (zh) | 2022-01-04 | 2022-01-04 | 一种基于低空机载多传感器融合的实时态势感知系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210000758.XA CN116430403A (zh) | 2022-01-04 | 2022-01-04 | 一种基于低空机载多传感器融合的实时态势感知系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116430403A true CN116430403A (zh) | 2023-07-14 |
Family
ID=87087760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210000758.XA Pending CN116430403A (zh) | 2022-01-04 | 2022-01-04 | 一种基于低空机载多传感器融合的实时态势感知系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116430403A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116736322A (zh) * | 2023-08-15 | 2023-09-12 | 山东科技大学 | 融合相机图像与机载激光雷达点云数据的速度预测方法 |
| CN117132519A (zh) * | 2023-10-23 | 2023-11-28 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117630892A (zh) * | 2024-01-25 | 2024-03-01 | 北京科技大学 | 可见光相机、红外相机与激光雷达的联合标定方法及系统 |
-
2022
- 2022-01-04 CN CN202210000758.XA patent/CN116430403A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116736322A (zh) * | 2023-08-15 | 2023-09-12 | 山东科技大学 | 融合相机图像与机载激光雷达点云数据的速度预测方法 |
| CN116736322B (zh) * | 2023-08-15 | 2023-10-20 | 山东科技大学 | 融合相机图像与机载激光雷达点云数据的速度预测方法 |
| CN117132519A (zh) * | 2023-10-23 | 2023-11-28 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117132519B (zh) * | 2023-10-23 | 2024-03-12 | 江苏华鲲振宇智能科技有限责任公司 | 基于vpx总线多传感器图像融合处理模块 |
| CN117630892A (zh) * | 2024-01-25 | 2024-03-01 | 北京科技大学 | 可见光相机、红外相机与激光雷达的联合标定方法及系统 |
| CN117630892B (zh) * | 2024-01-25 | 2024-03-29 | 北京科技大学 | 可见光相机、红外相机与激光雷达的联合标定方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111045017B (zh) | 一种激光和视觉融合的巡检机器人变电站地图构建方法 | |
| CN116430403A (zh) | 一种基于低空机载多传感器融合的实时态势感知系统与方法 | |
| Zhu et al. | The multivehicle stereo event camera dataset: An event camera dataset for 3D perception | |
| CN109579843B (zh) | 一种空地多视角下的多机器人协同定位及融合建图方法 | |
| CN112902953B (zh) | 一种基于slam技术的自主位姿测量方法 | |
| CN110068335B (zh) | 一种gps拒止环境下无人机集群实时定位方法及系统 | |
| US11064178B2 (en) | Deep virtual stereo odometry | |
| CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
| JP2019086508A (ja) | 仮想経路を表示する方法、装置及びディスプレイ装置 | |
| CN108594851A (zh) | 一种基于双目视觉的无人机自主障碍物检测系统、方法及无人机 | |
| CN112461210B (zh) | 一种空地协同建筑测绘机器人系统及其测绘方法 | |
| US8320630B2 (en) | Measuring turbulence and winds aloft using solar and lunar observable features | |
| AU2013343222A1 (en) | Cloud feature detection | |
| CN109547769B (zh) | 一种公路交通动态三维数字场景采集构建系统及其工作方法 | |
| CN111077907A (zh) | 一种室外无人机的自主定位方法 | |
| CN110751123B (zh) | 一种单目视觉惯性里程计系统及方法 | |
| Eynard et al. | Real time UAV altitude, attitude and motion estimation from hybrid stereovision | |
| CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
| CN110988947A (zh) | 一种基于实时动态载波相位差分技术的增强现实定位方法 | |
| CN115272596A (zh) | 一种面向单调无纹理大场景的多传感器融合slam方法 | |
| CN116222543B (zh) | 用于机器人环境感知的多传感器融合地图构建方法及系统 | |
| CN115900710A (zh) | 基于视觉信息的动态环境导航方法 | |
| Tarrio et al. | Realtime edge based visual inertial odometry for MAV teleoperation in indoor environments | |
| CN116518984A (zh) | 一种煤矿井下辅助运输机器人车路协同定位系统及方法 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |