CN114137564A - 一种室内物体自动标识定位方法和装置 - Google Patents

一种室内物体自动标识定位方法和装置 Download PDF

Info

Publication number
CN114137564A
CN114137564A CN202111442569.XA CN202111442569A CN114137564A CN 114137564 A CN114137564 A CN 114137564A CN 202111442569 A CN202111442569 A CN 202111442569A CN 114137564 A CN114137564 A CN 114137564A
Authority
CN
China
Prior art keywords
camera
target
coordinate system
recognized
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111442569.XA
Other languages
English (en)
Inventor
何为
刘鹏
梁晓旭
王旭
韩柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianke Public Facilities Operation Management Co ltd
Original Assignee
Jianke Public Facilities Operation Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jianke Public Facilities Operation Management Co ltd filed Critical Jianke Public Facilities Operation Management Co ltd
Priority to CN202111442569.XA priority Critical patent/CN114137564A/zh
Publication of CN114137564A publication Critical patent/CN114137564A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及一种室内物体自动标识定位方法和装置，属于室内空间定位技术领域，解决了现有室内物体定位误差大且不能有效反映建筑信息的记录和变更的问题。该方法包括：对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数；对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿；获取可见光图像和激光点云图并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置；基于外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置获取待识别目标在世界坐标系下的位置；以及将待识别目标添加至建筑信息模型中。将目标添加至BIM中以有效反映建筑信息的记录和变更。

Description

一种室内物体自动标识定位方法和装置
技术领域
本发明涉及室内空间定位技术领域，尤其涉及一种室内物体自动标识定位方法和装置。
背景技术
激光雷达是利用激光测距原理确定待扫描的空间的新型测量仪器。通过逐点测定激光器发射信号与待测目标反射信号的相位差(时间差)来获取激光器到达目标的直线距离。同时，根据发射激光信号的方向和激光器的空间位置来获得目标点的空间位置。通过激光器对待扫物体表面的密集扫描，可获得物体的三维表面模型。
而BIM技术也是当下最为热门的科技话题之一，其能附加信息的三维图像让建筑全生命周期可视化成为了现实。由此不妨可以衍生出一个想法，是否可以研制一种系统既有激光点云的准确性和可测距性又具备BIM模型的信息性和灵活性呢？目前市面上的室内空间定位技术无论是利用GPS亦或是蓝牙，误差都超出了理想范围，且其对于建筑信息的记录和变更不能做到有效反应。
发明内容
鉴于上述的分析，本发明实施例旨在提供一种室内物体自动标识定位方法和装置，用以解决现有室内物体定位误差大且不能有效反映对于建筑信息的记录和变更的问题。
一方面，本发明实施例提供了一种室内物体自动标识定位方法，包括：对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括所述多线激光雷达、所述固定激光雷达和所述相机；利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿；获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置；基于所述相机局部坐标系到基础坐标中心的外参数、所述多线激光雷达在所述世界坐标系下的位姿和所述待识别目标在相机坐标系下的位置，获取所述待识别目标在所述世界坐标系下的位置；以及根据所述待识别目标在所述世界坐标系下的位置，将所述待识别目标添加至建筑信息模型中。
上述技术方案的有益效果如下：本申请能够根据相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置来获取待识别目标在世界坐标系下的位置，大幅度降低了室内物体定位误差。另外，根据待识别目标在世界坐标系下的位置，能够将待识别目标添加至建筑信息模型BIM中，以能够有效反映对于建筑信息的记录和变更。
基于上述方法的进一步改进，获取待识别目标的可见光图像和激光点云并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置进一步包括：建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述多模态目标识别模型；利用所述相机拍摄所述待识别目标的可见光图像并利用激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述多模态目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
基于上述方法的进一步改进，建立深度学习神经网络包括：建立点云分支网络，所述点云分支网络采用第一特征提取器；建立图像分支网络，所述图像分支网络采用第二特征提取器，其中，将多个融合模组网络连接在所述点云分支网络和所述图像分支网络之间，以多级别融合激光雷达特征和视觉语义特征。
基于上述方法的进一步改进，对固定激光雷达和相机到所述多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数。
基于上述方法的进一步改进，对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移进一步包括通过：以下公式对相机内参数进行标定：
Figure BDA0003383192170000031
其中，(Xw,Yw,Zw)为所述世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure BDA0003383192170000032
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure BDA0003383192170000033
为相机外参数矩阵；以及对所述多线激光雷达和所述相机进行外参数联合粗标定；以及对所述多线激光雷达和所述相机进行外参数联合精标定。
基于上述方法的进一步改进，对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数进一步包括：在标准室内空间内采集两个激光雷达的点云数据；从所述点云数据中提供平面特征；匹配所述平面特征；在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及按照点到平面的距离平方作为目标函数以建立优化函数。
基于上述方法的进一步改进，通过以下公式获取所述待识别目标在所述世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，所述待识别目标在相机坐标系下的位置为Pc；所述多线激光雷达在所述世界坐标系下的位姿为Twl；以及所述相机局部坐标系到基础坐标中心的外参数为Tlc。
基于上述方法的进一步改进，利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿进一步包括：基于直接匹配进行高精度定位或者基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算该束激光相比于激光雷达水平面的倾角ω：
Figure BDA0003383192170000041
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383192170000042
构建线特征和面特征的残差函数以求解位姿向量。
另一方面，本发明实施例提供了一种室内物体自动标识定位装置，包括：标定模块，用于对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括所述多线激光雷达、所述固定激光雷达和所述相机；定位模块，用于利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿；多模态目标识别模块，用于获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置；目标位置获取模块，用于基于所述相机局部坐标系到基础坐标中心的外参数、所述多线激光雷达在所述世界坐标系下的位姿和所述待识别目标在相机坐标系下的位置，获取所述待识别目标在所述世界坐标系下的位置；以及添加模块，用于根据所述待识别目标在所述世界坐标系下的位置，将所述待识别目标添加至建筑信息模型中。
基于上述装置的进一步改进，所述多模态目标识别模块进一步包括：网络建立子模块，用于建立深度学习神经网络；训练子模块，用于利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述多模态目标识别模型；便携式激光扫描仪，利用所述相机拍摄所述待识别目标的可见光图像并利用激光雷达扫描所述待识别目标的激光点云图；以及位置获取子模块，用于将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述多模态目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
与现有技术相比，本发明至少可实现如下有益效果之一：
1、本申请能够根据相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置来获取待识别目标在世界坐标系下的位置，大幅度降低了室内物体定位误差。另外，根据待识别目标在世界坐标系下的位置，能够将待识别目标添加至建筑信息模型中，以能够有效反映对于建筑信息的记录和变更。
2、利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿，能够避免由于系统精度不够而导致将如墙内物体定位添加到墙外隔壁房间内去。
3、通过连接在所述点云分支网络和所述图像分支网络之间的多个融合模组网络，以多级别融合激光雷达特征(几何)和视觉语义特征(纹理)。
4、通过设计新的Loss函数能够进一步提高目标分类和定位置信水平的一致性。
本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为根据本发明实施例的室内物体自动标识定位方法的流程图；
图2为激光雷达相对于相机的旋转和平移的示意图；
图3为由相机获取的目标图像和由激光雷达获取的激光点云图的示图。
图4为对提前给定的目标提取圆心的示图。
图5为关于多线激光雷达和固态激光雷达建立局部坐标系。
图6为多线激光雷达基于直接匹配的高精度定位方法的流程图。
图7为多线激光雷达的坐标系统。
图8为具有激光点到雷达的距离和曲率的激光点云图。
图9为根据本发明实施例的点云分支和图像分支的融合的示图。
图10为根据本发明实施例的深度网络结构图。
图11为根据本发明实施例的融合模组网络结构的结构图。
图12为根据本发明实施例的激光雷达和相机之间的空间变换的示意图。
图13为根据本发明实施例的室内物体自动标识定位装置的框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
对于激光点云和BIM模型二者的优势都要求极高的室内空间定位技术恰好成为了一个得以实践运用的地方。
本发明的一个具体实施例，公开了一种室内物体自动标识定位方法。参考图1，室内物体自动标识定位方法包括：在步骤S102中，对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括多线激光雷达、固定激光雷达和相机；在步骤S104中，利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿；在步骤S106中，获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置；在步骤S108中，基于相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置，获取待识别目标在世界坐标系下的位置；以及在步骤S110中，根据待识别目标在世界坐标系下的位置，将待识别目标添加至建筑信息模型中。
与现有技术相比，本实施例提供的室内物体自动标识定位方法中，根据相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置能够获取待识别目标在世界坐标系下的位置，大幅度降低了室内物体定位误差。另外，根据待识别目标在世界坐标系下的位置，能够将待识别目标添加至建筑信息模型中，以能够有效反映对于建筑信息的记录和变更。
下文中，将参考图1，对根据本发明实施例的室内物体自动标识定位方法的各个步骤进行详细描述。
在步骤S102中，对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括多线激光雷达、固定激光雷达和相机。对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：对多线激光雷达和相机进行联合标定以获得多线激光雷达相对于相机的旋转和平移；以及对多线激光雷达和固体激光雷达进行联合标定以计算多线激光雷达和固定激光雷达之间外参数。
具体地，对多线激光雷达和相机进行联合标定以获得多线激光雷达相对于相机的旋转和平移进一步包括通过：以下公式对相机内参数进行标定：
Figure BDA0003383192170000081
其中，(Xw,Yw,Zw)为世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure BDA0003383192170000082
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure BDA0003383192170000083
为相机外参数矩阵；以及对多线激光雷达和相机进行外参数联合粗标定；以及对多线激光雷达和相机进行外参数联合精标定。
具体地，对多线激光雷达和固体激光雷达进行联合标定以计算多线激光雷达和固定激光雷达之间外参数进一步包括：在标准室内空间内采集两个激光雷达的点云数据；从点云数据中提供平面特征；匹配平面特征；在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及按照点到平面的距离平方作为目标函数以建立优化函数。通过该优化函数能够在初始值的基础上提高外参数标定的精度。
在步骤S104中，利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿。具体地，利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿进一步包括：基于直接匹配进行高精度定位或者基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：根据激光点坐标(x，y，z)，计算该束激光相比于激光雷达水平面的倾角ω：
Figure BDA0003383192170000091
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383192170000092
构建线特征和面特征的残差函数以求解位姿向量。
在步骤S106中，获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置。具体地，获取待识别目标的可见光图像和激光点云并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置进一步包括：建立深度学习神经网络。具体地，建立深度学习神经网络包括：首先建立点云分支网络，点云分支网络采用第一特征提取器；建立图像分支网络，图像分支网络采用第二特征提取器，其中，多个融合模组网络连接在点云分支网络和图像分支网络之间，以多级别融合激光雷达特征和视觉语义特征。然后，利用标记的可见光图像和标记的激光点云图对深度学习神经网络进行训练以获得多模态目标识别模型。随后利用相机拍摄待识别目标的可见光图像并利用激光雷达扫描待识别目标的激光点云图，并将待识别目标的可见光图像和待识别目标的激光点云图输入多模态目标识别模型以获得待识别目标的种类和在相机坐标系下的位置。
在步骤S108中，基于相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置，获取待识别目标在世界坐标系下的位置。具体地，通过以下公式获取待识别目标在世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，待识别目标在相机坐标系下的位置为Pc；多线激光雷达在世界坐标系下的位姿为Twl；以及相机局部坐标系到基础坐标中心的外参数为Tlc。
在步骤S110中，根据待识别目标在世界坐标系下的位置，将待识别目标添加至建筑信息模型BIM(Building Information Modeling)中。具体地，BIM通过数字化手段，在计算机中建立虚拟建筑，该虚拟建筑会提供单一、完整、包含逻辑关系的建筑信息库。“信息”的内涵不仅仅是几何形状描述的视觉信息，还包含大量的非几何信息，如材料的耐火等级和传热系数、构件的造价和采购信息等等。
本发明的另一个具体实施例，公开了一种室内物体自动标识定位装置。参考图13，室内物体自动标识定位装置包括：标定模块1302、定位模块1304、多模态目标识别模块1306、目标位置获取模块1308和添加模块1310。
标定模块1302用于对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括多线激光雷达、固定激光雷达和相机。定位模块1304用于利用由便携式激光扫描仪获取的激光点集和图像点集对多线激光雷达进行定位以获得多线激光雷达在世界坐标系下的位姿。多模态目标识别模块1306用于获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得待识别目标在相机坐标系下的位置。具体地，多模态目标识别模块1306进一步包括：网络建立子模块用于建立深度学习神经网络；训练子模块用于利用标记的可见光图像和标记的激光点云图对深度学习神经网络进行训练以获得多模态目标识别模型；便携式激光扫描仪，利用相机拍摄待识别目标的可见光图像并利用激光雷达扫描待识别目标的激光点云图；以及位置获取子模块用于将待识别目标的可见光图像和待识别目标的激光点云图输入多模态目标识别模型以获得待识别目标的种类和在相机坐标系下的位置。目标位置获取模块1308用于基于相机局部坐标系到基础坐标中心的外参数、多线激光雷达在世界坐标系下的位姿和待识别目标在相机坐标系下的位置，获取待识别目标在世界坐标系下的位置。添加模块1310用于根据待识别目标在世界坐标系下的位置，将待识别目标添加至建筑信息模型中。
下文中，将参考图2至图12，以具体实例的方式，对根据本发明实施例的室内物体自动标识定位方法进行详细描述。
手持智能监测设备的技术涉及到外观与结构设计、硬件系统设计、软件系统设计(嵌入式软件、采集软件、智能处理软件)、核心算法设计等几部分。核心算法是本申请的关键，其设计的合理性直接影响到设备的整体性能，本文主要对该部分进行原理性的详细阐述。
手持智能监测设备的核心算法主要包含以下四部分：多传感器高精度空间标定算法、基于激光雷达的高精度定位算法、基于深度学习的多模态目标识别算法、基于多传感器融合的目标位置获取算法。下文中将逐一对这四部分进行详细说明。
1、多传感器高精度空间标定算法
本系统中的核心传感器为1个多线激光雷达、1个固态激光雷达和1个可见光相机，因此传感器标定主要指的是通过精密设计，研究出一套严密的算法与操作流程，最终获取到这三者两两之间的高精度外参数，其中外参数用4*4的空间变换矩阵或位置向量与欧拉角向量(四元数)的组合来表示。
欧拉角与旋转矩阵变换关系：
设按Z-Y-X顺序(2,1,0)旋转，旋转角度分别为φ、θ、ψ，则旋转矩阵表达如下：
Figure BDA0003383192170000111
本实施例以多线激光为基础坐标参考，分别标定可见光相机、固态激光到多线激光的变换关系。
1.1多线激光与相机联合标定
如图2所示，激光雷达和相机的联合标定的结果是得到激光雷达相对于相机的旋转和平移。
联合标定分两步进行：先标定相机内参数、再联合标定外参数。
1.1.1相机内参数标定
内参数标定概念：图像测量过程以及计算器视觉中，为确定空间物体某点的三维几何关系位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，模型的参数就是相机的参数，求解参数的过程称为相机标定。
内参数标定的实验过程如下：
(1)打印一张棋盘格A4纸张(黑白间距已知)，并贴在一个平板上。
(2)针对棋盘格拍摄若干张图片(一般10-20张)。
(3)在图片中检测特征点(Harris特征)。
(4)利用解析解估算方法计算出5个内部参数，以及6个外部参数.
(5)根据极大似然估计策略，设计优化目标并实现参数的refinement.
相机的成像过程可表示为：
Figure BDA0003383192170000121
其中，世界坐标系(Xw,Yw,Zw)，相机坐标(Xc,Yc,Zc)，像素坐标(u,v)，相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc、Yc分别与图像坐标系X、Y轴平行。相机坐标原点与图像坐标系的原点之间的距离f，即焦距
Figure BDA0003383192170000131
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure BDA0003383192170000132
为相机外参数矩阵。
1.1.2外参数联合标定
粗标定：
(1)标志点描述
本文在标定过程中使用标志点(marker)进行标定，因为标志点的边沿在两种传感器数据中较容易被检测到。在标定过程中利用激光与相机分别采集一帧数据作为基础数据。
(2)点云下的检测
如图3所示，由于深度信息不连续，可以通过检测同一线下相邻点之间的深度差实现边沿检测。图3中的(a)和(c)为检测原图，(b)和(d)为分别与(a)和(c)相对应的激光点云图。
实际标定板上目标的尺寸、数量、位置是已知的，接下来需要进行检测(detection)、验证(verification)和点云修剪(pointcloud pruning)。
a、将拟合成平面的内点进行保留，外点去除，以下将对内点进行处理，如图4中的(a)所示。
b、利用随机抽样一致算法RANSAC(全称为Random sample consensus)方法针对提前给定的目标(四个圆，形成方形，半径，点距离)，提取圆心，如图4中的(b)所示。
c、对检测的结果进行验证，通过则结束，没通过则进行下一步。
d、如果提取不出来，就需要对点云进行处理，点云修剪。设定规则对想提取出的点进行提取。
(3)相机中的检测
利用Sobel算子，对图像边沿进行提取，再利用霍夫变换(Hough transform)提取圆形边界。
(4)计算初始的平移向量(tx ty tz)
通过下式计算tz，r3D表示点云检测出的半径，r2D表示图像检测出来的半径，Z表示图像检测出的圆心的深度坐标，f表示焦距：
Figure BDA0003383192170000141
X、Y、Z表示激光雷达下的点坐标，x、y表示图像坐标系下的坐标，ox、oy表示主点偏差。
Figure BDA0003383192170000142
Figure BDA0003383192170000143
精标定：
精标定的过程即为在一个小参数搜索空间搜索参数的最优解。基于相机检测到的边缘和激光雷达检测到的边缘是相互匹配的这一前提，设计loss函数如下：
a：将激光雷达坐标系下的目标点投影到相机平面上，构建成二维的图像平面；
b：经过Sobel算子处理后，生成包含边缘信息的图像；
c：利用Inverse Distance Transform(IDT)方法以对图像的边缘信息进行L1正则化。
d：构建误差函数SE，利用非线性优化方法对外参数进行优化，从而使得loss函数的值最小。
Figure BDA0003383192170000151
上式表示Loss函数的设置，IC表示处理后的图像坐标系下的数据，IV表示处理投影后雷达坐标系下的数据。因此，在粗标定的基础上进行优化以提高标定精度。
1.2多线激光与固态激光联合标定
本项目采用面特征匹配计算激光雷达之间外参的标定方法，在标准的标定室房间内分别采集两个激光的点云数据作为基础数据。
(1)面特征提取
a.点云预处理：由于噪声的影响，存在很多不在平面上的点，因此首先进行点云预处理，将不在平面上的点处理掉。
b.使用RANSAC在两个点云中拟合平面，可能拟合出很多个平面。
c.由于平面法向量就相当于一个坐标轴，因此，只需要三个坐标轴之间的匹配即可以求解两个坐标系的旋转。在利用RANSAC在两个点云中分别拟合出的平面可能大于3个，根据平面点数量的大小，保留三个最大的平面。
d.求解平面的参数系数，平面方程通常表达为：
β(i,0)xn+β(i,1)yn+β(i,2)zn+β(i,3)＝0
其中，β(i,0)、β(i,1)、β(i,2)和β(i,3)分别为参数。因此可以定义点到平面的距离为：
fi(Pn)＝|β(i,0)xn+β(i,1)yn+β(i,2)zn+β(i,3)|
e.构建最小二乘问题，在平面上选取N个点，则平面系数应该满足以下最小二乘问题：
Figure BDA0003383192170000152
f.求解出平面系数后，将三个平面考虑成XYZ坐标轴的三个平面，则这三个平面组成的局部坐标系的坐标原点为三个平面的交点：
Figure BDA0003383192170000161
(2)面特征匹配
如图5所示，通常在标定过程中会选择地面作为一个特征面，而激光雷达的安装一般也近似平行于地面，因此，在设定法向量方向后，利用：
n地面＝max([0,0,1]ni)
确定点云中哪个平面是地面，而又在设定了局部右手坐标系后，三个法向量n1、n2和n3满足以下关系：
(n2×n1)n3>0
通过遍历组合，即可给每个平面编上对应的号，完成平面特征的匹配。
(3)外参初始值闭式求解
在完成平面特征的匹配后，将三个法向量当作三个点，利用SVD分解即可求解R的初始值，由于三个法向量有以下对应关系：
Rn1＝n′1，Rn2＝n′2，Rn3＝n′3
R[n1,n2,n3]＝[n′1,n′2,n′3]
P＝[n1,n2,n3],Q＝[n′1,n′2,n′3]
H＝PQT
对H矩阵进行SVD分解可以得到中间变量V和U，利用以下公式即可求解出R和t的初始值，其中，O和O′分别为两个激光雷达的局部坐标系的原点坐标。
R＝VUT,t＝O′-RO
(4)非线性优化
最后按照点到平面的距离的平方作为目标函数，建立优化函数，并进行迭代优化即可。该优化函数为分别对3个匹配平面的误差值进行求和，其中每个匹配平面的误差由两部分组成：第一部分
Figure BDA0003383192170000171
为固态激光平面上的点到多线激光对应平面的距离，p′为固态激光平面上点的坐标；第二部分
Figure BDA0003383192170000172
为多线激光平面上的点到固态激光对应平面的距离，p为多线激光平面上点的坐标。
Figure BDA0003383192170000173
2、基于激光雷达的高精度定位算法
本模块主要采用基于直接匹配与特征融合的高精度定位算法。
2.1基于直接匹配的高精度定位算法
对于两个点集：
X＝{x1,x2,...,xNx}
Y＝{y1,y2,...,yNy}
参考图6，首先，对点云数据进行预处理；将空间划分为栅格，统计落在各栅格中的点；根据各栅格中的点，计算各栅格均值、协方差、构建高斯分布；根据预测姿态计算联合概率；求解R，t，判断求解是否结束，如果没有结束，则返回至根据预测姿态计算联合概率。如果结束，则输出R，t。
寻找目标函数，使得：
Figure BDA0003383192170000174
其中：
Figure BDA0003383192170000175
定义目标函数为：
Figure BDA0003383192170000181
y′i＝T(p,yi)＝Pyi+t
其中，定义目标函数如下，μ为点集X的质心，y′i为利用预测位姿对点yi进行变换后得到的点坐标。
按照高斯牛顿法的流程，只需计算残差函数关于待求参数的雅可比，便可迭代优化。
2.2基于特征匹配的高精度定位算法
(1)线面特征提取
参考图7，根据激光点坐标(x,y,z)，可计算该束激光相比于雷达水平面的倾角ω：
Figure BDA0003383192170000182
参考图8，根据倾角和雷达内参(各扫描线的设计倾角)，可知雷达属于哪条激光束。
根据前后相邻点与当前点的长度X(长度指激光点到雷达的距离)，计算曲率大小。并根据曲率大小进行特征的判断。
Figure BDA0003383192170000183
(2)线面特征关联
第k+1帧与第k帧的相对位姿为：
Figure BDA0003383192170000184
第k+1帧中的点转到第k帧坐标系：
Figure BDA0003383192170000191
pi为线特征，
Figure BDA0003383192170000192
为预测线特征。
(3)位姿优化
分别构建线特征和面特征的残差函数：
Figure BDA0003383192170000193
Figure BDA0003383192170000194
其中，
Figure BDA0003383192170000195
为预测线特征；|pa-pb|为线特征的长度，当pi为线特征时，在上一帧中搜索离其最近的线特征点pa，并在相邻线上再找一个线特征点pb，组成直线。当其为面特征时，在上一帧中搜索离其最近的面特征点pm，并在相邻线上找两个面特征点pj和pl，组成平面。
根据凸优化基础，只要求得残差关于待求变量的雅可比，便可采用高斯牛顿等进行优化，从而求解位姿向量。
3、基于深度学习的多模态目标识别
传统基于深度学习的图像目标识别技术目前已趋于稳定与成熟，但其在小目标、复杂场景下容易出现误检和漏检的问题，使其目前只能应用在环境较为简单的目标识别场景中。深度学习本质上是一种数据驱动模式表达学习的方法，目前在复杂情况下的表现不佳主要受限于单一传感器数据的局限性问题。多模态数据可以实现对环境在不同特征维度上进行有效表达，其巨大优势目前已逐渐引起研究人员的高度重视。本课题拟采用一种新型的深度神经网络结构，网络输入端为多模态传感器数据，包含可见光图像、激光点云，通过网络参数实现对不同输入数据的特征表达学习，输出端为目标的种类与位置。利用一定量的标记数据进行训练与学习，实现对参数的自动调优，从而大幅提高目标识别的精度与环境适应性。
从理论上讲，图像信息是dense和规则的，包含了丰富的色彩信息和纹理信息，但是缺点就是由于为二维信息。存在因为远近而存在的scale问题。相对图像而言，点云的表达为稀疏的、不规则的，这也就使得采用传统的CNN感知在点云上直接处理是不可行的。但是点云包含了三维的几何结构和深度信息，这是对3D目标检测更有利的，因此二者信息是存在理论上的互补的。此外目前二维图像检测中，深度学习方法都是以CNN为基础设计的方法，而在点云目标检测中则有着MLP、CNN，GCN等多种基础结构设计的网络，在融合过程中和哪一种网络做融合也是比较需要研究的。
本项目主要采用基于特征融合的方法，如图9所示。该融合需要在特征层中做一定的交互。主要的融合方式是对点云和图像分支都各自采用特征提取器，对图像分支和点云分支的网络在前馈的层次中逐语义级别融合，做到multi-scale信息的语义融合。
本项目采用的网络结构如图10所示，其中点云分支是点编码器-解码器(pointencoder-decoder)的结构，图像分支则是一个逐步编码的网络，并且逐层做特征融合。
该网络由一个two-stream的RPN网络和一个优化网络组成，RPN网络主要用来做候选框生成，优化网络主要做目标检测框的优化，该网络可以直接进行端到端的训练。通过L1-Fusion模块，该网络能有效融合激光雷达特征和视觉语义特征。
L1-Fusion模组网络结构，如图11所示：
此外，该网络通过设计一种新的loss函数(CE loss)以进一步提高目标分类和定位置信水平的一致性。
CE loss定义如下：
Figure BDA0003383192170000211
其中D和G分别代表预测和真实的边界框(bounding box)，c代表D的分类的置信度。
总的残差函数Ltotal定义如下：
Ltotal＝Lrpn+Lrcnn，
其中Lrpn和Lrcnn分别代表rpn和rcnn两个子网络的残差函数。
4、基于多传感器融合的目标位置获取
参考图12，传感器标定、高精度定位、多模态数据的目标检测三个步骤后，即可利用以上三步骤的结果进行融合计算，从而求解得到感兴趣目标在世界坐标系下的绝对位置，整个计算过程概述如下：
(1)t时刻根据多模融合结果，检测到感兴趣目标，且其在相机坐标系下的位置为Pc；
(2)已经求解基础坐标中心(多线激光)此时刻在世界坐标系下的位姿为Twl；
(3)已经对各传感器外参进行高精度标定，其中相机局部坐标系到基础坐标中心的外参数为Tlc；
(4)可通过空间变换求解感兴趣目标在世界坐标系下的位置Pw，其计算公式为：
Pw＝Twl*Tlc*Pc
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种室内物体自动标识定位方法，其特征在于，包括：
对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括所述多线激光雷达、所述固定激光雷达和所述相机；
利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿；
获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置；
基于所述相机局部坐标系到基础坐标中心的外参数、所述多线激光雷达在所述世界坐标系下的位姿和所述待识别目标在相机坐标系下的位置，获取所述待识别目标在所述世界坐标系下的位置；以及
根据所述待识别目标在所述世界坐标系下的位置，将所述待识别目标添加至建筑信息模型中。
2.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，获取待识别目标的可见光图像和激光点云并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置进一步包括：
建立深度学习神经网络，利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述多模态目标识别模型；
利用所述相机拍摄所述待识别目标的可见光图像并利用激光雷达扫描所述待识别目标的激光点云图，并将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述多模态目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
3.根据权利要求2所述的室内物体自动标识定位方法，其特征在于，建立深度学习神经网络包括：
建立点云分支网络，所述点云分支网络采用第一特征提取器；
建立图像分支网络，所述图像分支网络采用第二特征提取器，其中，多个融合模组网络连接在所述点云分支网络和所述图像分支网络之间，以多级别融合激光雷达特征和视觉语义特征。
4.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，对固定激光雷达和相机到所述多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数进一步包括：
对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移；以及
对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数。
5.根据权利要求2所述的室内物体自动标识定位方法，其特征在于，对所述多线激光雷达和所述相机进行联合标定以获得所述多线激光雷达相对于所述相机的旋转和平移进一步包括通过：
以下公式对相机内参数进行标定：
Figure FDA0003383192160000021
其中，Zc为尺度参数；(Xw,Yw,Zw)为所述世界坐标系；(u,v)为像素坐标；相机坐标系以相机的光轴作为z轴，光线在相机的光学系统中心位置就是原点Oc，相机坐标系Xc，Yc分别与图像坐标系X，Y轴平行，相机坐标原点与图像坐标系的原点之间的距离f，即焦距，
Figure FDA0003383192160000022
为相机内参数矩阵，利用张正友标定法求解所述相机内参数矩阵；
Figure FDA0003383192160000023
为相机外参数矩阵；以及
对所述多线激光雷达和所述相机进行外参数联合粗标定；以及
对所述多线激光雷达和所述相机进行外参数联合精标定。
6.根据权利要求4所述的室内物体自动标识定位方法，其特征在于，对所述多线激光雷达和所述固体激光雷达进行联合标定以计算所述多线激光雷达和所述固定激光雷达之间外参数进一步包括：
在标准室内空间内采集两个激光雷达的点云数据；
从所述点云数据中提供平面特征；
匹配所述平面特征；
在完成平面特征匹配后，利用奇异值分解求解R和t的初始值；以及
按照点到平面的距离平方作为目标函数以建立优化函数。
7.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，通过以下公式获取所述待识别目标在所述世界坐标系下的位置Pw进一步包括：
Pw＝Twl*Tlc*Pc
其中，所述待识别目标在相机坐标系下的位置为Pc；所述多线激光雷达在所述世界坐标系下的位姿为Twl；以及所述相机局部坐标系到基础坐标中心的外参数为Tlc。
8.根据权利要求1所述的室内物体自动标识定位方法，其特征在于，利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿进一步包括：基于直接匹配进行高精度定位或者基于特征匹配进行高精度定位，其中，基于特征匹配进行高精度定位进一步包括：
根据激光点坐标(x，y，z)，计算该束激光相比于激光雷达水平面的倾角ω：
Figure FDA0003383192160000031
第k+1帧与第k帧的相对位姿为：
Figure FDA0003383192160000032
构建线特征和面特征的残差函数以求解位姿向量。
9.一种室内物体自动标识定位装置，其特征在于，包括：
标定模块，用于对固定激光雷达和相机到多线激光雷达的变换关系进行标定以获得相机局部坐标系到基础坐标中心的外参数，其中，便携式激光扫描仪包括所述多线激光雷达、所述固定激光雷达和所述相机；
定位模块，用于利用由所述便携式激光扫描仪获取的激光点集和图像点集对所述多线激光雷达进行定位以获得所述多线激光雷达在世界坐标系下的位姿；
多模态目标识别模块，用于获取待识别目标的可见光图像和激光点云图并输入多模态目标识别模型以获得所述待识别目标在相机坐标系下的位置；
目标位置获取模块，用于基于所述相机局部坐标系到基础坐标中心的外参数、所述多线激光雷达在所述世界坐标系下的位姿和所述待识别目标在相机坐标系下的位置，获取所述待识别目标在所述世界坐标系下的位置；以及
添加模块，用于根据所述待识别目标在所述世界坐标系下的位置，将所述待识别目标添加至建筑信息模型中。
10.根据权利要求9所述的室内物体自动标识定位装置，其特征在于，所述多模态目标识别模块进一步包括：
网络建立子模块，用于建立深度学习神经网络；
训练子模块，用于利用标记的可见光图像和标记的激光点云图对所述深度学习神经网络进行训练以获得所述多模态目标识别模型；
便携式激光扫描仪，利用所述相机拍摄所述待识别目标的可见光图像并利用激光雷达扫描所述待识别目标的激光点云图；以及
位置获取子模块，用于将所述待识别目标的可见光图像和所述待识别目标的激光点云图输入所述多模态目标识别模型以获得所述待识别目标的种类和在所述相机坐标系下的位置。
CN202111442569.XA 2021-11-30 2021-11-30 一种室内物体自动标识定位方法和装置 Pending CN114137564A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111442569.XA CN114137564A (zh) 2021-11-30 2021-11-30 一种室内物体自动标识定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111442569.XA CN114137564A (zh) 2021-11-30 2021-11-30 一种室内物体自动标识定位方法和装置

Publications (1)

Publication Number Publication Date
CN114137564A true CN114137564A (zh) 2022-03-04

Family

ID=80389766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111442569.XA Pending CN114137564A (zh) 2021-11-30 2021-11-30 一种室内物体自动标识定位方法和装置

Country Status (1)

Country Link
CN (1) CN114137564A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416319A (zh) * 2022-11-17 2023-07-11 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法
WO2023178729A1 (zh) * 2022-03-24 2023-09-28 香港大学深圳研究院 一种基于bim和视频监控的博物馆参观分析的方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178729A1 (zh) * 2022-03-24 2023-09-28 香港大学深圳研究院 一种基于bim和视频监控的博物馆参观分析的方法及系统
CN116416319A (zh) * 2022-11-17 2023-07-11 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法
CN116416319B (zh) * 2022-11-17 2023-11-24 南京理工大学 面向智能驾驶多类型传感器标定的一次性联合标定方法

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
WO2021233029A1 (en) Simultaneous localization and mapping method, device, system and storage medium
CN109598765B (zh) 基于球形标定物的单目相机与毫米波雷达外参联合标定方法
Daftry et al. Building with drones: Accurate 3D facade reconstruction using MAVs
CN110415342A (zh) 一种基于多融合传感器的三维点云重建装置与方法
CN110766758B (zh) 标定方法、装置、系统及存储装置
CN114140539A (zh) 一种室内物体的位置获取方法和装置
Moussa Integration of digital photogrammetry and terrestrial laser scanning for cultural heritage data recording
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
Hu et al. An automatic 3D registration method for rock mass point clouds based on plane detection and polygon matching
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
US10432915B2 (en) Systems, methods, and devices for generating three-dimensional models
CN109341668A (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN114089329A (zh) 一种基于长短焦相机与毫米波雷达融合的目标检测方法
Özdemir et al. A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment
Mi et al. A vision-based displacement measurement system for foundation pit
Wang et al. A survey of extrinsic calibration of lidar and camera
Coorg Pose imagery and automated three-dimensional modeling of urban environments
Kim et al. Automatic multiple lidar calibration based on the plane features of structured environments
Partovi et al. Automatic integration of laser scanning and photogrammetric point clouds: From acquisition to co-registration
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
Khurana et al. Improved auto-extrinsic calibration between stereo vision camera and laser range finder
Becker et al. Lidar inpainting from a single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination