CN113888702A - 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法 - Google Patents

Abstract

本发明涉及3D建模领域，动作跟踪领域和VR空间定位领域，提供了基于TOF多激光雷达和RGB相机的室内高精度实时姿态建模和空间定位的装置和方法。本发明通过TOF真实深度信息来提高建模和定位的精度；通过RGB图像数据对TOF深度图像进行修复和超分辨率重构处理来解决现有激光相机的分辨率低的问题；通过多个扫描装置来解决大面积室内使用的问题和盲区过大的问题。本发明避免了现有单一、单个扫描装置的缺点，组合使用，并且提供了多种使用该装置进行高精度实时姿态建模和空间定位的方法。提高了姿态建模和空间定位的实时性，鲁棒性，精准性。由静态建模进步为实时建模，由仅能对骨骼空间定位进步为对待测体表面所有点进行空间定位。

Description

基于多TOF激光雷达和RGB摄像头的室内高精度实时建模和空 间定位的装置和方法

技术领域

本发明主要实体3D建模，动作跟踪领域和VR设备空间定位领域，可用于工业化机械臂机器人可视化编程、3D电影拍摄动作跟踪、3D游戏开发动作跟踪、带有RGB色彩信息的3D建模等大量技术领域，具体为基于多TOF激光雷达和RGB摄像头的室内高精度实时建模和空间定位的装置和方法。

背景技术

激光雷达，是以发射激光束探测目标的位置、速度等特征量的雷达系统。其工作原理是向目标发射探测信号（激光束），然后将接收到的从目标反射回来的信号（目标回波）与发射信号进行比较，作适当处理后，就可获得目标的有关信息,如目标距离、方位、高度、速度、姿态、甚至形状等参数，可以用在建筑、军事、地表勘测、等需要对物体的距离、形状、姿态、速度、加速度等信息获取的领域。

现有的技术中激光雷达主要部件有激光发射器 、激光接收器、信息处理系统等组成，激光接收器接收激光发射器发射到待测物体表面反射回的光脉冲，在转换成计算机可以识别处理的电信号，从而获取深度信息。

相应的，本专利中所使用的激光雷达为TOF激光雷达，TOF的全称是Time offlight，中文翻译为为飞行时间，TOF相机也就是通过飞行时间方法来进行距离测量从而实现三维成像的相机。飞行时间测距法就是通过向目标发送连续的光脉冲，再利用传感器接收从目标返回的光，在这一过程中计算光脉冲从发射到接受的飞行时间从而计算得到与目标之间的距离。

现有的TOF激光雷达的优点有：原理简单，易于使用，不依托于外部环境，有不错的准确性和高帧速率等诸多优势，现有的TOF激光雷达可以达到毫米甚至已发布的下一代激光雷达可以亚微米级别的精度。在亚微米级别的TOF激光雷达较双目RGB色彩相机能也能获取到更高精度深度信息，较3D结构光通常及时厘米至一米的量程，量程更远，可根据不同的应用场景和需求，使用不同精度和量程的TOF激光雷达，并且TOF激光雷达刷新率高，现市面上的激光雷达可以达到60hz，适合对移动物体进行实时测量，且有着没有旋转电机、设备损耗较低、可以长期使用无需校准等优点。

现有的TOF激光雷达缺点有：现有硬件分辨率不如RGB相机高，待测物体的边缘像素值易跳动，易受到待测物体表面材质和颜色的干扰、FOV视角受限、单个TOF激光雷达无法测量多层次、多遮挡的待测物体的深度信息等缺点。

RGB色彩，是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是运用最广的颜色系统之一。相应的，在本发明中，可以通过算法根据RGB色彩信息的来提高建模的精度。

双目RGB相机可以通过两个相机之间的视差，通过三角定位法，计算出一套深度信息，但该方案对大范围的无特征点的环境，如纯色衣服，白墙，镜面等下，深度信息定位较差。

相应的，本专利中所使用的相机为RGB相机。

在目前VR室内空间定位领域，常用的解决方案及其优缺点有。

1.通过待测目标携带的头显手柄等设备内置的加速度传感器和陀螺仪组成惯性传感器，也可再配合RGB摄像头对肢体进行图像识别；以此来达到空间定位的效果，缺点是精度不够，长时间使用会发生漂移，惯性传感器也只可对安装点所在点的进行空间定位，测量点的数量有限制，安装在待测目标本体上的RGB摄像头有大范围的视角盲区，多个RGB摄像头基于视觉的定位，在遇到玻璃、白墙等特征点比较少的情况下，获取到的深度信息并不精确。

2.通过在室内墙角设置多个红外接收发射基站、超声波发射接受基站，并且需要待测目标携带的手柄和头显等设备上设置红外发射器、超声波发射装置（以上需要待测目标携带的信号发射或接受装置我们在下文统称为Beacon信标）；通过基站对接受到的Beacon信标信号的数量、距离、大小、角度等数据来对Beacon信标点进行空间定位，如在，缺点是每次使用人体需要携带带有多个Beacon信标的装置，这些Beacon信标需要通过电缆链接或内置电池供电，这样会增加人体所需携带设备的总体重量，且只能达到对有限个点进行定位。

上述的方法可以单独或组合使用，但现有的VR空间定位装置存在精度过低、盲区过大、需要在人物肘部、膝盖，脚部等部位设置Beacon信标点或各类传感器，只能对少量点进行精确定位，且使用过程十分繁琐，不利于用户进行交互，在VR领域市场急需研制一种更优的全局空间定位系统。

由于目前市面上民用领域的TOF相机通常分辨率较低，不利于全局建模的精度，在申请公布号CN 109035390 A的发明专利中记载了一种方法，该方法通过使用雷达模块中的RGB相机预先扫描待测目标，然后根据待测目标的大小，激光雷达的角度等信息智能调节激光雷达的扫描密度，从而尽可能扫描到目标表面的更高分辨率的深度信息，但是该装置和方法无法对不断移动的目标进行密度调节，且扫描方向单一，需要不断移动围绕目标旋转，或旋转待测目标，难以对室内的移动目标进行实时姿态建模。

在[1]王文渊，郭承军. 基于TOF相机的深度图像增强方法研究现状[C].成都：第十二届中国卫星导航年会论文集——S02 导航与位置服务，2021.中记载了一种基于彩色图像对深度图像进行超分辨率重构的方法，和一种基于多副深度图像上的采样方法，和一种基于单幅深度图像修复方法，和一种基于彩色图像引导的深度图像修复方法，证明通过RGB图像和相关算法进行超分辨率重构和增强最终建模的精度是可行的。为了解决TOF相机通常分辨率较低，且存在噪点和空洞区域的问题，在本发明中主要通过基于彩色图像对深度图像进行超分辨率重构的方法和基于彩色图像引导的深度图像修复方法两种方法对最终的3D建模进行精度增强。

在申请公布号为CN 113177975 A中描述了一种方法，将激光雷达获取到的深度信息转化为点云信息，然后投射到只有二维坐标系的RGB全景相机图像中生成了有RGB色彩的点云图像，该方法可以进行三维建模。但是该方法中所用的装置盲区较大，对直线方向上存在遮挡的目标后无法建模。且该方法中，虽然考虑到对激光雷达的离群点和噪点进行滤波处理，但未考虑到激光雷达的分辨率通常相对RGB全景相机的分辨率较低，没有进行超分辨率重建的步骤。

为了解决对室内移动目标的实时姿态建模问题，本发明采用多方向安装多个扫描装置，同时进行实时扫描。

发明内容

本发明主要解决的技术问题是在现有姿态建模和空间定位领域，精度过低，盲区过大，装置过多，只能对待测目标上设置有Beacon的目标进行姿态建模和空间定位的缺陷，该方法还可以对多个待测目标进行姿态建模和空间定位。

本发明通过下述装置来解决上述技术问题：

一种基于多激光雷达和摄像头的室内高精度实时姿态建模和空间定位装置，所述的装置包括1个TOF激光雷达及1个 RGB摄像头组成1个扫描模块，整套装置内有包含多个扫描模块，具体数量和摆放位置根据盲区面积和室内空间大小决定；1个处理器；本扫描模块还具有红外反射率检测的功能，如要只需对待测目标表面某几个点进行更精确的定位信息抓取，本装置还包括若干标定模块可供选装，参见图1、图2和图3。

为实现上述目的，本发明提供了一种用于无RGB色彩的三维模型姿态建模的方法：

通过TOF激光雷达获取深度图，深度图可以转化为点云图。

通过RGB相机获取RGB图像信息，需要说明的是，扫描模块可以有N个，数量越多处理器计算压力越大，同时建模出来的盲区和精度指标越优秀，同时拓展了能扫描到的空间，可供待测目标移动的空间也越大。

处理器根据深度信息和RGB彩色的图像信息，进行深度图像的修复，该修复过程包括了滤波步骤，例如对噪点、离群点的处理；同时包含了对空洞点的修复，生成修复后的深度图像。

处理器根据修复后的深度图像和RGB彩色图像，进行超分辨率重构，生成重构后的深度图像。

处理器将单一扫描装置重构后的深度图像，转化为点云数据，进而转换为无RGB色彩信息3D模型。

处理器将各方向上的3D模型根据特征点进行衔接，组合成无RGB色彩信息的全方位3D模型。

需要说明的是，本发明还提供了一种带有RGB色彩信息的三维模型姿态建模方法：

在进行步骤23时，超分辨率重建后的深度图像分辨率要求和RGB图像一致，应将RGB图像等比缩小成与重构后的深度图像相同的分辨率，或设参让生成重构后的深度图像时的分辨率与RGB图像的原始分辨率相等，然后直接将RGB二维色彩图像一一映射到重构后的深度图像中，生成有RGB色彩信息的重构后的深度图像，然后转化为点云数据，建模出该方向上有RGB信息的3D模型，最后根据各方向上的特征点进行衔接，组合成有RGB信息的全方位3D模型。

需要说明的是，本发明还提供另了一种带有RGB色彩信息的三维模型姿态建模方法：在步骤25后，对所生成的无RGB色彩信息的全方位3D模型，根据所述的RGB色彩信息对全方位3D模型自动进行贴图，生成有RGB信息的全方位3D模型。

需要说明的是，本发明进行3D建模后，足以对3D模型的表面上任意点进行高精度实时空间定位，在现有VR空间定位设备中，将对点定位，进步到能够对整个面进行空间定位。但是现有VR空间定位领域，只需对待测目标骨骼进行空间定位，本发明同样提供了两种兼容的方法。

为了解决对骨骼进行空间定位的问题，本发明提供了一种方法：

在待测物体表面设置标定模块，在点云数据图上持续对这些标定了的特征点进行持续跟踪，将特征点连线，持续生成骨骼数据，进而进行空间定位，该方法无需对物体进行完全的3D建模，较为节约计算资源。

需要说明的是，本发明还提供了另外一种方法用于解决对骨骼进行空间定位的方法：

对3D模型进行完全建模后，根据模型表面的蒙皮逆向生成骨骼数据，对蒙皮表面特征点持续跟踪，进而持续生成骨骼数据，完成空间定位。

需要说明的是，本发明还提供了一种使用了双目RGB摄像头和一个TOF激光雷达的扫描装置进行建模的过程，双目RGB摄像头提供的额外RGB图像可以生成另一套深度信息，用于对TOF深度图像进行修复，进而提高最终建模和空间定位的精度。

需要说明的是，随着TOF激光雷达技术的发展，TOF激光雷达的各项技术参数，如FOV视野角、精度、控噪、分辨率等会进一步提高，不需要再使用RGB信息对深度信息修复、超分辨率重构等步骤也能满足使用的精度要求，本发明也提供了一种实施例，只使用多个TOF激光雷达进行姿态建模和空间定位。

附图说明

如图，图1是本发明涉及的装置模块示意图。

如图，图2是一种安装了2个扫描装置的实施例示意图，标定装置和处理器未标出，标定可以放置在目标表面任意位置，处理器可以放置在任意位置。

如图，图3是一种安装了4个扫描装置的实施例示意图，这样安装盲区更小，标定装置和处理器未标出，标定可以放置在目标表面任意位置，处理器可以放置在任意位置。

如图，图4是一种安装了6个扫描装置的实施例示意图，这样安装可以覆盖更大范围的区域，标定装置和处理器未标出，标定可以放置在目标表面任意位置，处理器可以放置在任意位置。

如图，图5是单一扫描装置的扫描最终建模效果图，多个不同方向的扫描装置，最终建模出的三维模型，可以做到几乎没有盲区。

如图，图6是不带RGB色彩信息的一帧3D姿态建模的方法和步骤。

如图，图7是一种带有RGB色彩信息的一帧3D姿态建模的方法和步骤。

如图，图8是另一种带有RGB色彩信息的一帧的3D姿态建模的方法和步骤。

如图，图9是一种在待测目表面设置了高红外反射率特征点贴片，对高红外反射率的点云数据特征点进行骨骼建模，进而持续跟踪骨骼位置，实现实时高精度空间定位的方法和步骤。

如图，图10是另一种无需设置高红外反射率贴片，仅仅根据带有RGB色彩信息的3D建模的蒙皮上的特征点进行骨骼逆向，持续跟踪骨骼位置，进而实现高精度实时空间定位的方法和步骤。

如图，图11是一种采用带有电机安装在地面的圆形可自我旋转的导轨安装方式，导轨可以自我旋转，待测目标应当在圆心内移动。这样的安装方式可以通过扫描装置的旋转和细微移动，在目标表面测量出更多的点云数据，以提高建模的精度和准确度，理论上可以全向移动的扫描装置的可以将目标表面的建模精度无限提到激光雷达的理论精度极限。

如图，图12是一种采用吊装安装有电机的可移动滑轨的安装有2个扫描装置的扫描模块安装方式的实施例示意图，滑轨可以左右移动，在目标快要移动到扫描范围之外时，电机带动扫描装置移动，保证待测目标一直位于扫描范围内。标定装置和处理器未标出，标定可以放置在目标表面任意位置，处理器可以放置在任意位置。

如图，图13是一种采用了TOF激光雷达和多目RGB相机的实施例，该实施例中多目RGB相机可以生成额外一套深度信息，用以修复TOF激光雷达获取的深度图。

如图，图14是一种扫描模块中单个扫描装置的示意图，该扫描装置采用了1个TOF激光雷达和1个RGB摄像头。

如图，图15是一种扫描模块中单个扫描装置的示意图，该扫描装置采用了1个TOF激光雷达和2个RGB摄像头。

如图，图16是一种扫描模块中单个扫描装置的示意图，该扫描装置采用了1个TOF激光雷达和1个RGB摄像头，与图14和图15的中扫描装置的区别在于RGB摄像头与激光雷达可以分成两个设备，安装在不同的位置。

如图，图17是一个实施例，该实施例中没有使用RGB摄像头。

具体实施方式

参见图2至图4，图11至图12共展示了本发明的6种装置安装的实施例，在室内对角上安装了2个扫描模块，该安装方式可以避免大部分盲区，图3展示的实施例，安装了4个扫描模块，这样的安装方式可以避免更大范围的盲区且在对待测目标的测量中获得更多点云数据，可以进一步提高精度。图4展示的实施例，安装了6个扫描模块，本安装方式可以适应更大范围的室内面积。图11是一种地面旋转式轨道的实施例，通过扫描模块的移动可以在目标表面生成更多的点云数据，进一步提高精度；图12是一种吊装式可移动轨道的实施例，通过扫描模块的移动，可以在目标将要移动到扫描范围外时移动扫描模块，可以适用于更大面积的室内。处理模块和标定模块未在图上标注。扫描模块每个都安装有1个TOF激光雷达和1个RGB相机，RGB相机分辨率在1080P以上，相机帧率在60帧每秒；TOF激光雷达分辨在720P以上，雷达帧率在60帧每秒。采集到的RGB图像数据和TOF深度图数据通过电缆或高带宽无线网络立即同步传输到处理器，接下来由处理器单独对每一帧进行操作。在安装了图上的装置后，进行下列的步骤。

图6是本发明提供的方法的一个实施例，该实施例演示了如何创建一帧不带RGB色彩的姿态建模的方法。

步骤一，数据采集，参见图6中的如图601至603的步骤，通过TOF激光雷达和RGB相机进行扫描后立即实时传输至处理器进行数据处理。

步骤二，图像修复，见图6中的604，其中，处理器根据深度信息和RGB信息，进行深度图像的修复。

步骤三，超分辨率重构，见图6中的605，处理器根据RGB信息和修复后的深度图像，对深度图像进行超分辨率重构。

步骤四，单方向3D建模，见图6中的606，处理器根据重构后的深度图像转化为点云数据，建模出该方向上无RGB信息的3D模型。

步骤五，全方位3D建模，见图6中的607，处理器将各方向上的3D模型根据特征点进行衔接，组合出全方位的3D模型，该3D建模不包含RGB色彩信息，适用于只需要对待测体的姿态进行实时建模的领域。

图7是本发明提供的方法的一个实施例，该实施例演示了如何创建一帧带有RGB色彩的姿态建模的方法。该方法基于图6中的实施例，区别在于对图6生成的不带RGB色彩信息的3D建模进行图7中的步骤708，下面仅对不同的步骤进行说明。

步骤708，贴图覆盖，将RGB信息自动对607步骤中生成的3D建模进行贴图覆盖。生成生成有RGB信息的全方位3D模型。该3D建模包含RGB色彩信息。

图8是本发明提供的方法的一个实施例，该实施例演示了另一种如何创建一帧带有RGB色彩的姿态建模的方法。该方法与图7中的实施例的区别在于，在根据深度图生成点云数据的时候，直接将RGB信息覆盖附加到点云数据内，最后生成的3D建模仍包含RGB信息，下面仅对不同的步骤进行说明。

步骤805，超分辨率重构，见图8的805，处理器根据RGB信息和修复后的深度图像，对深度图像进行超分辨率重构，重构后的深度图像分辨率要求和RGB图像相同，或将RGB图像等比例缩小成与重构后的深度图像相同的分辨率。

步骤806，深度图像RGB色彩映射，见图8的806，直接将RGB二维色彩图像一一映射到重构后的深度图像中，生成有RGB色彩信息的重构后的深度图像。

步骤807，单方向3D建模，见图8的807，处理器根据重构后的深度图像转化为点云数据，建模出该方向上有RGB信息的3D模型。

步骤807，全方位3D建模，见图8的808，处理器将各方向上的3D模型根据特征点进行衔接，组合出有RGB信息的全方位3D模型。

图9是本发明提供的方法的一个实施例，该实施例演示了如何使用本装置对待测目标进行骨骼建模和高精度实时空间定位的方法。该方法需要在待测目标关节上安装标定装置，用于对特征点的定位和骨骼建模。该标定装置成本极低，无需复杂的传感器或供电，相比现有VR设备中用于空间定位领域的装置有极大的改进，下面仅对与图6中的实施例不同的步骤进行说明。

步骤906，点云数据转换，见图9的906，处理器将重构后的深度图转换为点云数据，该点云数据包含红外反射率强度。

步骤907，点云数据衔接，见图9的907，处理器根据特征点将多方向上的点云数据衔接在一起，生成一幅全方位的点云数据。

步骤907，骨骼建模与跟踪，见图9的908，处理器对全方位的点云数据中高红外反射率的特征点进行连线，生成出骨骼建模数据，进而对骨骼在空间中的位置进行计算，根据上下帧骨骼的位置可以计算出加速度和速度，进而完成对待测目标骨骼的空间定位。

图10是本发明提供的方法的一个实施例，该实施例演示了另一种如何使用本装置对待测目标进行骨骼建模和高精度实时空间定位的方法。该方法不需要在待测目标关节上安装标定装置，下面仅对与图7中的实施例不同的步骤进行说明。

步骤1009，骨骼逆向建模与跟踪，见图10的1009，选取一帧带有RGB色彩信息的全方法3D建模，根据特征点对蒙皮进行逆向骨骼，随后持续逆向骨骼，进而实时计算出在空间中的位置，完成空间定位。

需要说明的是，在本实施例中步骤1009中，为了减少对处理器运算资源的消耗，可以仅在最初建模的前一段时间，选取几帧进行骨骼的逆向和校准，随后仅选取蒙皮中的一些特征点在空间中的位置进行骨骼位置的计算，无需持续的逆向。

图13是本发明提供的方法的一个实施例，该实施例与上述其他实施例的区别在于使用了双目RGB相机，下面仅对与图7中的实施例不同的步骤进行说明。

步骤1304，三角定位测量另一套深度信息，处理器根据双目RGB相机测量的数据进行三角定位，测量出另一套深度信息。

步骤1305，图像修复，处理器根据双目RGB相机测量的数据进行三角定位，测量出另一套深度信息，处理器根据两套深度信息和RGB信息，进行深度图像的去噪和修复。

步骤1306，超分辨率重构，处理器根据多张RGB图像，对修复后的深度图像进行超分辨率重构。

图17是本发明提供的方法的一个实施例，该实施例与上述其他实施例的区别在于，该实施例中的扫描模块不包含RGB摄像头，本实施例中扫描模块只能获取到深度图，且获取的深度图，无需进行深度图的修复和超分辨率重构的步骤就可以满足使用的精度要求。

上面结合附图及其实时例描述了本发明的几种实施方式，只是为了使本发明的目的、优点更加清楚明白，实施例的给出仅用于解释本发明，并不构成对本发明的限制，本领域的熟练技术人员可根据需要做出调整，在所属权利要求的范围内做出的各种变形或修改均在保护范围内。

需要说明的是，在本发明中涉及“第一”、“第二”、步骤的名称如：“骨骼建模与跟踪”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术本实施例可以相互结合，但是必须是以本领域熟练技术人员能够实现为基础，当技术本实施例的结合出现相互矛盾或无法实现时应当认为这种技术本实施例的结合不存在，也不在本发明要求的保护范围之内。

Claims (13)

1.一种可用于多TOF激光雷达和RGB摄像头的室内高精度实时建模和空间定位的装置和方法其特征在于，包括：

由多TOF激光雷达和RGB摄像头构成的扫描模块，用于扫描待测目标获取深度信息。

2.根据权利要求1所述的装置，其特征在于，包括：

标定模块，进一步的，标定模块是高红外反光率的物体或带有鲜艳的RGB色彩的物体。

3.根据权利要求1所述的装置，其特征在于，所述的TOF激光雷达为固态面阵激光雷达或MEMS激光雷达。

4.根据权利要求1所述的装置，其特征在于，所述的多指至少需要2个及以上的TOF激光雷达；所述的高精度指相对纯图像识别、毫米波雷达等进行空间定位和建模的手段误差较小；所述的实时指扫描模块运行在30HZ及以上。

5.根据权利要求1所述的装置，其特征在于，可以不存在RGB摄像头。

6.根据权利要求1所述的扫描模块，其特征在于，在扫描模块的安装上，可以固定安装，或移动安装，优选的，扫描模块可以安装在可移动导轨上。

7.根据权利要求1所述的高精度实时建模和空间定位的方法，其特征在于，包括：

衔接多角度数据：针对多扫描装置获取的多角度的深度图像或RGB图像数据，根据特征点和空间上的位置进行组合，衔接成全方位的三维模型或点云数据。

8.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之前，根据RGB图像引导对TOF深度图像进行修复。

9.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之前，根据RGB图像引导对TOF深度图像进行超分辨率重建。

10.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之后，对点云数据或3D模型中由于安装了标定模块得到的显著特征点信息进行持续跟踪，对这些特征点进行连线，生成骨骼数据，持续对骨骼进行空间定位。

11.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之前，根据多目RGB相机测量出的另一套深度图像，对激光雷达获得的深度图像，进行深度图像的修复。

12.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之后，根据三维模型的蒙皮，持续逆向骨骼数据，持续对骨骼进行空间定位。

13.根据权利要求7所述的方法，其特征在于，包括：

在衔接多角度数据之后，对三维模型表面的蒙皮任意点，根据其周围蒙皮的色彩、形状、位置特征，进行空间位置的持续跟踪，进行空间定位。

Images