CN114777772A

CN114777772A - 一种基于红外摄像头与高精度imu的室内定位系统

Info

Publication number: CN114777772A
Application number: CN202210411143.6A
Authority: CN
Inventors: 叶毓传
Original assignee: Guangzhou Jizong Technology Co ltd
Current assignee: Guangzhou Jizong Technology Co ltd
Priority date: 2022-04-19
Filing date: 2022-04-19
Publication date: 2022-07-22

Abstract

本发明公开了一种基于红外摄像头与高精度IMU的室内定位系统，包括物理模块和算法单元，物理模块包括信标单元、传感器单元、数据传输单元以及数据处理单元和虚拟摄影单元，本发明涉及计算机领域与影视技术领域。该基于红外摄像头与高精度IMU的室内定位系统，通过综合了室内定位领域与影视领域的技术，室内定位系统可以实时的获取场景坐标，人物坐标，景深数据、镜头焦距，用以作为后期虚拟摄影单元定位人物与场景的依据，意味着只需要几个CG渲染引擎工程师即可替代庞大的后期团队，在保证了摄影质量不会有所降低甚至有所提高的情况下大大降低了人力成本，从而令影视行业能够提高相应虚拟摄影技术标准。

Description

一种基于红外摄像头与高精度IMU的室内定位系统

技术领域

本发明涉及计算机领域与影视技术领域，具体为一种基于红外摄像头与高精度IMU的室内定位系统。

背景技术

室内定位是指在室内环境中实现位置定位，主要采用无线通讯、基站定位、惯导定位等多种技术集成形成一套室内位置定位体系，从而实现人员、物体等在室内空间中的位置监控，除通讯网络的蜂窝定位技术外，常见的室内无线定位技术还有：WiFi、蓝牙、红外线、超宽带、RFID、ZigBee和超声波等，室内环境占据人类日常生活时间的80％，室内的位置服务有着广泛的应用领域和潜在需求，但在实际应用中，由于室内定位环境复杂，干扰源多，使得室内定位的精度一般在区域级或米级，且易受环境干扰，目前的室内定位系统常用可见光进行室内环境的分析，可见光所获取的信息数量大，从而导致受干扰程度也相应加大。

虚拟直播行业作为近几年的新兴行业，一般采用网页直播运用人脸追踪的形式进行直播，操作方式一般基于2D平面人物进行使用，使用者与观众的互动性偏低，无法做到各个方向的泛用化，目前的影视行业无法做到实时渲染的工作，若想添加虚拟场景，则前期布置绿幕进行拍摄，后期工作人员前期拍摄素材进行抠像，设置后期场景并渲染，且于播放时遇到问题无法实时进行修改，需要对素材进行进一步的修改与渲染，大量的增加了影视从业者的工作量，同时也增加了影视从业者的人力资源与时间成本。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于红外摄像头与高精度IMU的室内定位系统，解决了实际应用中室内定位环境复杂，干扰源多，采用可见光进行室内环境的分析，因可见光所获取的信息数量大从而导致受干扰程度也相应加大的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种基于红外摄像头与高精度IMU的室内定位系统，包括物理模块和算法单元，所述物理模块包括信标单元、传感器单元、数据传输单元以及数据处理单元和虚拟摄影单元。

优选的，所述算法单元的数据采集与传输算法利用光纤进行长距离传输、使用FPGA进行高精度同步，利用单片机1与FPGA1采集和同步红外相机、IMU、编码器数据。

优选的，所述信标单元包括红外反光贴纸，所述传感器单元包括红外摄像机、红外滤光片、红外光LED灯珠、IMU8个和编码器2个。

优选的，所述数据传输单元包括单片机2个、FPGA2个和光纤，所述数据处理单元包括高性能X86主机。

优选的，所述虚拟摄影单元包括摇臂、稳定器、轨道、无人机和飞猫系统。

优选的，所述算法单元具体包括以下步骤：

一、建图阶段：

S1、通过红外相机采集红外光图片；

S2、对红外摄像机拍摄的图片选定阈值并进行二值化处理，得到二值化图片；

S3、使用连通域搜索算法，设定连通域阈值，得到连通域质心即红外信标在图片中的坐标(u,v)；

S4、使用卡尔曼滤波或GNN(全局最近邻算法)等数据关联和追踪算法，将连续帧得到的红外信标做数据关联，确定唯一信标ID；

S5、使用三角测量方式，对不同帧之间的同一个信标做运算，得到信标的三维坐标；

S6、对于S5中运算涉及利用相机内参外参矩阵将信标坐标由像素坐标(u,v)换算为三维坐标(x，y，z)；

S7、通过PNP(N点透视位姿求解)方法求解出相机位姿，再利用该位姿重投影信标三维坐标到图像上得到重投影坐标(u,v)；

S8、对所有点的重投影坐标和测得坐标求均方差可得重投影误差值w，w反应当前根据信标点构建的地图质量；

S9、当重投影误差小于一定值时，认为当前地图可用，将所有信标点三维坐标集合作为一幅地图存入存储介质中；

二、追踪阶段：

T1、通过建图阶段S1、S2和S3步骤同样的算法得到红外信标坐标(u,v)；

T2、根据当前得到的所有信标坐标与储存介质中存储的地图做匹配，确定当前地图场景，读入地图到程序内存中；

T3、根据地图中存储的信标点的三维坐标，通过PNP(N点透视求解)方法求解出相机位置；

T4、使用EKFSLAM等算法将相机位姿与IMU数据进行融合，得到最终位姿数据；

T5、将最终数据发送给虚拟摄影单元。

(三)有益效果

本发明提供了一种基于红外摄像头与高精度IMU的室内定位系统。具备以下有益效果：该基于红外摄像头与高精度IMU的室内定位系统，包括物理模块和算法单元，物理模块包括信标单元、传感器单元、数据传输单元以及数据处理单元和虚拟摄影单元，通过综合了室内定位领域与影视领域的技术，室内定位系统可以实时的获取场景坐标，人物坐标，景深数据(zoom)、镜头焦距(focus)，用以作为后期虚拟摄影单元定位人物与场景的依据，创新点在于达到了现今摄影行业所未能实现的实时性要求，不需要在后期进行处理也能实时的输出带有虚拟场景和虚拟特效的画面，为虚拟直播行业提供了可能性，只需要将此定位系统安装至虚拟摄影单元中，即可获得后期处理中难以获得的人物定位数据，场景景深数据与焦距数据，此类数据在后期处理场景中可以判断出任务与具体物品的相对距离，做到将人物与物体区分开，从而做到真正意义上的实时虚拟摄影，并且由于能够将场景通过CG渲染引擎进行直接渲染，则意味着只需要几个CG渲染引擎工程师即可替代庞大的后期团队，在保证了摄影质量不会有所降低甚至有所提高的情况下大大降低了人力成本，应用此项技术，观众们更能体会到身临其境的感觉，从而令影视行业能够提高相应虚拟摄影技术标准。

附图说明

图1为本发明物理模块的框图；

图2为本发明建图阶段的流程图；

图3为本发明追踪阶段的流程图；

图4为本发明红外摄像机的朝向数据设置参考图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-4，本发明实施例提供一种技术方案：一种基于红外摄像头与高精度IMU的室内定位系统，包括物理模块和算法单元，物理模块包括信标单元、传感器单元、数据传输单元以及数据处理单元和虚拟摄影单元。

本发明实施例中，算法单元的数据采集与传输算法利用光纤进行长距离传输、使用FPGA进行高精度同步，利用单片机1与FPGA1采集和同步红外相机、IMU、编码器数据。

本发明实施例中，信标单元包括红外反光贴纸，传感器单元包括红外摄像机、红外滤光片(反射短红外波长)、红外光LED灯珠、IMU8个和编码器2个(对应缩放和焦距)。

本发明实施例中，数据传输单元包括单片机2个、FPGA2个和光纤，数据处理单元包括高性能X86主机(主板、串口、网络、pwm风扇、内存、CPU、SSD和散热器)。

本发明实施例中，虚拟摄影单元包括摇臂、稳定器、轨道、无人机和飞猫系统。

本发明实施例中，算法单元具体包括以下步骤：

一、建图阶段：

S1、通过红外相机采集红外光图片；

二、追踪阶段：

T5、将最终数据发送给虚拟摄影单元。

同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。

实际使用流程：

1、将红外摄像机装置在摄影机上，确定红外摄像机的朝向后，测量摄影机的CCD与红外摄像机的CCD的偏移数据，参照附图4。

2、连接好光纤数据线和网络后，打开主机，等待启动红外摄像机，应放置在一个静止的平面让红外摄像机的陀螺仪自动校准。

3、开始扫描反光点地图，需要平稳手持红外摄像机，使得相机在地图可见范围内移动，并随时调整红外摄像机的pan值，识别地图后，信号显示为高质量即可保存地图。

4、开始校正地图定位：

(1)、平面校正，该步骤需要四个定位点及以上的数据采集，将红外摄像机移动到不同的点并确保Roll值和Till值尽可能偏差低于0.1，所有的点尽可能覆盖整个反光点地图点，红外摄像机的高度设置在此步骤可以为任意值，仅需确保所有的点高度一致，譬如放置在一个平面地板上可设置为0；

(2)、缩放校正，需要设置缩放的模式，当红外摄像机处于地面时选择为移动红外摄像机到AB两个点，确保红外摄像机在AB两个点的Pan\Till\Roll数值一致，然后量取AB两点的直线距离，当红外摄像机在空中朝向非地面以外的方向，则选择红外摄像机的反光地图点作为缩放参数，在地图中选取两个标记点，两点之间的距离尽可能大，随后固定红外摄像机，在主机中选取该两点，并量取两点的直线距离输入；

(3)、重置pan值，将红外摄像机按照原装置方式安装回摄影机上，并调整摄影机的视角朝向，确认摄影机朝向后重置Pan值；

(4)、重置零点，确保此时的红外摄像机的姿态暨在摄影机上的Pan\Till\Roll数值差尽可能小，随后量取摄影机CCD入视中心点距离地面的垂直数据作为零点高度。

5、权重调整，此处可调整红外摄像机的信号传输平滑度、陀螺仪的权重、红外光发射强度、反光点识别阈值强度，红外摄像机刷新率(当使用帧率同步锁后选择为一般模式)此外可选为一半帧率和两倍帧率，其中延迟和延迟比率也在此处调整，需要依据实际偏差进行调整。

6、跟踪数据可视化预览，选择不同的跟踪协议可获取当前的跟踪信号数据。

7、镜头文件获取及镜头校正，读取对应的镜头文件，测试其偏移情况，可调整镜头的中心偏移和FOV等镜头失真数据，确保发送给虚拟引擎的镜头数据与真实镜头的数据匹配。

8、设置UDP发送IP地址(需要组件局域网)，跟踪信号发射端可发送广播IP和指定IP，选择接收的跟踪信号的服务器IP地址，并设置端口，可根据不同的需求发送不同协议的跟踪信号。

9、虚拟引擎服务器或任意接收端选择与跟踪主机发送的相同协议，并设置为同一端口号即可接收到跟踪信号。

10、测试跟踪信号精准度和延迟情况，可在权重调整界面中适当增减延迟帧率和比率，根据实际反馈调整。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：包括物理模块和算法单元，所述物理模块包括信标单元、传感器单元、数据传输单元以及数据处理单元和虚拟摄影单元。

2.根据权利要求1所述的一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：所述算法单元的数据采集与传输算法利用光纤进行长距离传输、使用FPGA进行高精度同步，利用单片机1与FPGA1采集和同步红外相机、IMU、编码器数据。

3.根据权利要求1所述的一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：所述信标单元包括红外反光贴纸，所述传感器单元包括红外摄像机、红外滤光片、红外光LED灯珠、IMU8个和编码器2个。

4.根据权利要求1所述的一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：所述数据传输单元包括单片机2个、FPGA2个和光纤，所述数据处理单元包括高性能X86主机。

5.根据权利要求1所述的一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：所述虚拟摄影单元包括摇臂、稳定器、轨道、无人机和飞猫系统。

6.根据权利要求1所述的一种基于红外摄像头与高精度IMU的室内定位系统，其特征在于：所述算法单元具体包括以下步骤：

一、建图阶段：

S1、通过红外相机采集红外光图片；

二、追踪阶段：

T3、根据地图中存储的信标点的三维坐标，通过PNP方法求解出相机位置；

T5、将最终数据发送给虚拟摄影单元。