CN111541887B

CN111541887B - 一种裸眼3d视觉伪装系统

Info

Publication number: CN111541887B
Application number: CN202010433170.4A
Authority: CN
Inventors: 邢妍; 王琼华; 任慧; 马孝铭; 庞森林; 夏云鹏
Original assignee: Sichuan University; Beihang University
Current assignee: Sichuan University; Beihang University
Priority date: 2020-05-21
Filing date: 2020-05-21
Publication date: 2021-05-07
Anticipated expiration: 2040-05-21
Also published as: CN111541887A

Abstract

本发明提出一种裸眼3D视觉伪装系统，包括3D采集模块、目标检测模块、传感器模块、数据处理模块、控制模块以及3D显示模块。3D采集模块用于采集被待伪装目标遮挡的背景的3D信息，目标检测模块用于识别可见光侦察设备的位姿，传感器模块用于感知周围环境亮度以及解算待伪装目标的姿态，数据处理模块用于合成立体图像，控制模块用于生成针对3D显示模块的显示信息，并调节3D显示模块的亮度，3D显示模块用于重构背景光场，显示背景的3D图像。本发明能够完整获取并真实还原待伪装目标后方背景的3D信息，并根据周围环境光强对3D显示亮度等进行调整，实现与环境的高度融合与匹配，达到自适应的视觉伪装效果，完成对可见光侦察与跟踪的有效干扰。

Description

一种裸眼3D视觉伪装系统

技术领域

本发明涉及视觉伪装技术，特别涉及一种裸眼三维(3D)视觉伪装系统。

背景技术

伪装是指利用光学、电磁学、热学、声学以及材料等技术手段，通过隐真与示假两种方式，改变目标的特征信息，干扰侦察设备，保护目标的一种技术。常见的视觉伪装包括迷彩伪装、示假伪装、植物伪装、遮障伪装等，能够使目标表面与环境相融合，从而抵挡可见光和目视侦察追踪。但是，这些视觉伪装通常为静态。当目标移动到新的环境时，原有的伪装已无法与新的环境融合，两者的差异导致目标容易暴露。

中国发明专利文件CN 110763084A、CN 105991968A以及CN 109300145A公开了三种自适应的伪装装置/系统，它们均利用显示技术，将采集的后方背景图像动态显示在目标前方的显示设备上，以实现目标全天候、全过程、全时段与周围环境融合的自适应伪装效果。但是，这些伪装装置/系统仅能呈现背景的二维平面信息。当可见光侦察设备从多个角度和方位对目标进行近距离侦察时，由于缺乏3D立体信息，伪装装置/系统与周围环境不能很好地融合，大大影响了视觉伪装效果。

发明内容

为解决上述问题，本发明提出一种裸眼3D视觉伪装系统。所述系统包括3D采集模块、目标检测模块、传感器模块、数据处理模块、控制模块以及3D显示模块。

所述3D采集模块，用于采集被待伪装目标遮挡的背景的3D信息。

所述目标检测模块，用于识别可见光侦察设备的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息。

所述传感器模块包括环境光传感器、惯性测量单元(IMU)传感器。其中环境光传感器位于待伪装目标的侧方，用于感知周围环境的亮度以及光强。IMU传感器位于待伪装目标的几何中心，用于解算待伪装目标的姿态，包括俯仰角、横滚角以及方向角。

所述数据处理模块是连接3D采集模块与3D显示模块的桥梁，用于处理采集的背景3D信息，根据3D显示参数以及识别的可见光侦察设备位姿，合成立体图像，用于3D显示。

所述控制模块，用于生成针对3D显示模块的显示信息，并根据环境光传感器感知的周围环境亮度，调节3D显示模块的亮度，实现与周围环境亮度的匹配。

所述3D显示模块包括裸眼3D显示屏，与待伪装目标的表面紧密贴合，用于重构背景光场，显示背景的3D图像。

进一步的，所述3D采集模块可以是双目可见光摄像机、ToF深度摄像机、摄像机阵列或单目可见光摄像机。具体的，双目可见光摄像机采集的3D信息为左右视差图像；ToF深度摄像机采集的3D信息为深度图和彩色图；摄像机阵列采集的3D信息为不同角度的视差图像序列；单目可见光摄像机采集的是特定角度的背景图像。

进一步的，所述3D采集模块的摄像机安装在舵机云台上，可自由调节摄像机的俯仰角、横滚角和方向角。

进一步的，所述目标检测模块可以是单目可见光摄像机、深度摄像机、双目可见光摄像机或激光雷达。

进一步的，所述数据处理模块中，针对双目可见光摄像机采集的左右视差图像，数据处理步骤包括左右视差图像的解码、解压、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成；针对ToF深度摄像机采集的深度图和彩色图，数据处理步骤包括解码、解压、视差图像方向性映射以及立体图像合成；针对摄像机阵列采集的视差图像序列，数据处理步骤包括解码、解压、3D重建以及立体图像渲染生成；针对单目可见光摄像机采集的单幅图像，数据处理步骤包括解码、解压、2D转3D以及立体图像渲染生成。

进一步的，所述立体图像可以是自由立体图像、集成成像微图像阵列或光场图像。

进一步的，所述3D显示模块中，裸眼3D显示屏的形状可以是柔性、平面、曲面或异形。

进一步的，所述裸眼3D显示屏可以是自由立体显示屏、集成成像3D显示屏或光场3D显示屏。

本发明提出的一种裸眼3D视觉伪装系统，能够完整获取并真实还原待伪装目标后方背景的3D信息，并根据周围环境光强对3D显示亮度等进行调整，实现与环境的高度融合与匹配，达到自适应的视觉伪装效果，完成对可见光侦察与跟踪的有效干扰。

附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

图1为本申请的一种裸眼3D视觉伪装系统的框架图

图2为根据本申请一实施例的双目可见光摄像机采集示意图

图3为根据本申请一实施例的数据处理模块的工作流程示意图

图4为根据本申请一实施例的某一视角的伪装效果示意图

图5为根据本申请一实施例的裸眼3D视觉伪装系统的工作流程图

上述附图中的图示标号为：

1 3D采集模块，110可见光摄像机，111云台，112背景山体，2传感器模块，3目标检测模块，4数据处理模块，5控制模块，6 3D显示模块，610车体，611柔性自由立体显示屏

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的可选的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面将结合本申请公开的实施例及附图对本申请提出的一种裸眼3D视觉伪装系统进行详细描述。

图1示出了本申请的一种裸眼3D视觉伪装系统的框架图。所述系统由3D采集模块1、目标检测模块2、传感器模块3、数据处理模块4、控制模块5以及3D显示模块6组成。

在一个实施例中，待伪装目标为车体，背景为山体，侦察设备为可见光照相机，位于车体前方10米处。所述3D采集模块位于车体后方，采用如图2所示的双目可见光摄像机，对背景山体进行采集。双目可见光摄像机安装在三轴舵机云台上，根据解算的车体姿态以及识别的照相机侦察设备位姿，相应调整双目可见光摄像机的参数，如俯仰角、横滚角、方向角、视角以及焦距，拍摄得到背景山体的左右视差图像，视差图像的分辨率为1280×720。

所述目标检测模块采用前视的双目可见光摄像机，获取可见光侦察设备，即可见光照相机的左右视差图像，对其进行自动对齐学习，粗略估计可见光照相机的位姿，并利用稠密匹配对其进行优化。

所述传感器模块包括环境光传感器、IMU传感器。其中环境光传感器位于车体侧方，用于感知周围环境的亮度以及光强。IMU传感器位于车体的几何中心，用于解算车体的姿态，包括俯仰角、横滚角以及方向角。

图3示出了根据本申请一实施例的数据处理模块的工作流程示意图。针对采集模块的双目可见光摄像机采集的左右视差图像，数据处理步骤包括左右视差图像的解码、解压、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成。其中视差图像方向性映射中，虚拟视点位于识别的照相机侦察设备位置附近；立体图像是自由立体图像，由利用方向性映射生成的8幅视差图像通过立体图像合成算法得到，自由立体图像的分辨率为3840×2160。

所述控制模块采用OLED显示面板的驱动印刷电路，用于生成针对3D显示模块的显示信息，并根据环境光传感器感知的周围环境亮度，通过脉冲宽度调制，调节3D显示模块的亮度，实现与周围环境亮度的匹配。

所述3D显示模块采用柔性的自由立体显示屏，紧密贴合在车体表面，用于重构被车体遮挡的背景山体的光场，显示背景山体的3D图像。自由立体显示屏由柔性OLED屏与柱透镜光栅膜材精密耦合而成。柔性OLED屏的分辨率为3840×2160，其上显示合成的自由立体图像。图4示出了根据本申请一实施例的某一视角的伪装效果示意图。

图5示出了根据本申请一实施例的裸眼3D视觉伪装系统的工作流程图。首先，根据解算的车体姿态以及识别的照相机侦察设备位姿，调整双目可见光摄像机的参数，如俯仰角、横滚角、方向角、视角和焦距等，获取背景山体的左右视差图像。然后，传输视差图像数据，被数据处理模块接收，进行解压、解码、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成，得到自由立体图像。最后，根据感知的周围环境亮度，相应调节自由立体显示屏的亮度，显示背景山体的3D图像，实现与周围环境的高度融合。

Claims

1.一种裸眼3D视觉伪装系统，其特征在于，由3D采集模块、目标检测模块、传感器模块、数据处理模块、控制模块、3D显示模块组成；所述3D采集模块，用于采集被待伪装目标遮挡的背景的3D信息；所述目标检测模块，用于识别可见光侦察设备的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息；所述传感器模块包括环境光传感器、惯性测量单元IMU传感器，其中环境光传感器位于待伪装目标的侧方，用于感知周围环境的亮度以及光强，IMU传感器位于待伪装目标的几何中心，用于解算待伪装目标的姿态，包括俯仰角、横滚角及方向角；所述数据处理模块，用于处理采集的背景3D信息，根据3D显示参数和识别的可见光侦察设备位姿，合成立体图像，用于3D显示；所述控制模块，用于生成针对3D显示模块的显示信息，并根据环境光传感器感知的周围环境亮度，调节3D显示模块的亮度，实现与周围环境亮度的匹配；所述3D显示模块包括裸眼3D显示屏，与待伪装目标的表面紧密贴合，用于重构背景光场，显示背景的3D图像。

2.根据权利要求1所述的一种裸眼3D视觉伪装系统，其特征在于，所述3D采集模块可以是双目可见光摄像机、ToF深度摄像机、摄像机阵列或单目可见光摄像机；具体的，双目可见光摄像机采集的3D信息为左右视差图像；ToF深度摄像机采集的3D信息为深度图和彩色图；摄像机阵列采集的3D信息为不同角度的视差图像序列；单目可见光摄像机采集的是特定角度的背景图像；所述3D采集模块的摄像机安装在舵机云台上，可自由调节摄像机的俯仰角、横滚角和方向角。

3.根据权利要求1所述的一种裸眼3D视觉伪装系统，其特征在于，所述目标检测模块可以是单目可见光摄像机、深度摄像机、双目可见光摄像机或激光雷达。

4.根据权利要求1和权利要求2任一所述的一种裸眼3D视觉伪装系统，其特征在于，所述数据处理模块中，针对双目可见光摄像机采集的左右视差图像，数据处理步骤包括视差图像数据的解码、解压、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成；针对ToF深度摄像机采集的深度图和彩色图，数据处理步骤包括解码、解压、视差图像方向性映射以及立体图像合成；针对摄像机阵列采集的视差图像序列，数据处理步骤包括解码、解压、3D重建以及立体图像渲染生成；针对单目可见光摄像机采集的单幅图像，数据处理步骤包括解码、解压、2D转3D以及立体图像渲染生成；所述立体图像可以是自由立体图像、集成成像微图像阵列或光场图像。

5.根据权利要求1所述的一种裸眼3D视觉伪装系统，其特征在于，所述3D显示模块中，裸眼3D显示屏的形状可以是柔性、平面、曲面或异形。

6.根据权利要求1所述的一种裸眼3D视觉伪装系统，其特征在于，所述3D显示模块中，裸眼3D显示屏可以是自由立体显示屏、集成成像3D显示屏或光场3D显示屏。