CN111541880B - 一种2d/3d兼容视觉伪装系统 - Google Patents

Abstract

本发明提出一种2D/3D兼容视觉伪装系统，包括采集模块、采集控制模块、目标检测模块、数据处理模块、显示控制模块以及显示模块。采集模块用于获取被待伪装目标遮挡的背景的2D或3D信息，采集控制模块用于控制采集模式、有效摄像机以及摄像机采集的参数，目标检测模块用于识别可见光侦察设备的位姿，数据处理模块用于处理采集的2D或3D数据，生成对应于显示模块的2D平面或3D立体图像，显示控制模块用于控制对应于2D或3D显示的参数，显示模块用于显示背景的2D或3D图像。本发明能够根据可见光侦察设备距待伪装目标的不同距离，自适应调节工作状态，完成对应2D或3D信息的获取与呈现，实现与周围环境的融合与匹配，达到自适应的视觉伪装效果，满足远近各种距离可见光侦察的伪装需求。

Description

一种2D/3D兼容视觉伪装系统

技术领域

本发明涉及视觉伪装技术，特别涉及一种2D/3D兼容视觉伪装系统。

背景技术

伪装是指对真实重要的目标进行隐真示假，降低目标可侦察性，迷惑他人的一种技术。其中视觉伪装主要针对相机、人的视觉等可见光侦察，通常分为静态和动态两种。静态的视觉伪装包括植物伪装、迷彩伪装、遮障伪装、示假伪装等，一旦确定伪装，便无法改变特征，因此应用受限。动态的视觉伪装通常利用显示技术，将背景图像动态显示在覆盖于目标表面的显示设备上，能够实现目标全天候、全过程、全时段与周围环境融合的自适应视觉伪装效果。但是，现有动态视觉伪装系统的主要缺点为：仅能呈现一种信息，即2D平面信息。当可见光侦察设备从地面视角进行近距离侦察时，需要呈现被遮挡背景的3D立体信息，才能与周围环境较好地融合，适应多角度多方位的可见光侦察。而当可见光侦察设备移动至高空视角进行远距离侦察时，由于距离非常远，立体感已不明显，此时又需要呈现背景的2D平面信息。然而，目前尚未有同时兼容2D和3D采集呈现的视觉伪装方案。

发明内容

为解决上述问题，本发明提出一种2D/3D兼容视觉伪装系统，所述系统包括采集模块、采集控制模块、目标检测模块、数据处理模块、显示控制模块以及显示模块。

所述采集模块，用于获取被待伪装目标遮挡的背景的2D或3D信息，包括摄像机子模块和惯性测量单元(IMU)，其中摄像机子模块用于采集背景的2D或3D数据。IMU位于待伪装目标的几何中心，用于解算待伪装目标的姿态，包括俯仰角、横滚角以及方向角。

所述采集控制模块，用于控制采集模式、有效摄像机以及摄像机采集的参数，如俯仰角、横滚角、方向角、视角以及焦距等，以适应各种距离的背景。

所述目标检测模块，用于识别可见光侦察设备的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息。

所述数据处理模块，用于处理采集的2D或3D数据，根据显示种类、参数以及可见光侦察设备的位姿，生成对应于显示模块的2D平面或3D立体图像，用于2D或3D显示。

所述显示控制模块，包括感光子模块以及控制子模块。其中感光子模块用于感知周围环境亮度及光强，输入至控制子模块上，相应调节显示模块亮度。控制子模块用于控制对应于2D或3D显示的参数，生成针对显示模块的2D或3D显示信息，输入至显示模块上。

所述显示模块包括2D/3D兼容显示屏，与待伪装目标的表面紧密贴合，用于显示背景的2D或3D图像。

进一步的，所述采集模块中，摄像机子模块可以是双目可见光摄像机、ToF深度摄像机、单目可见光摄像机或摄像机阵列。具体的，双目可见光摄像机采集的左右视差图像可作为3D数据，左视差图像或右视差图像可作为2D数据；ToF深度摄像机采集的深度图和彩色图可作为3D数据，其中彩色图可作为2D数据；单目可见光摄像机采集的图像既可作为2D数据，也可作为3D原始数据；摄像机阵列采集的视差图像序列可作为3D数据，阵列中某个摄像机采集的单幅图像可作为2D数据。

进一步的，所述摄像机安装在舵机云台上，可自由调整其俯仰角、横滚角和方向角。

进一步的，所述目标检测模块可以是单目可见光摄像机、深度摄像机、双目可见光摄像机或激光雷达。

进一步的，所述数据处理模块中，针对采集的2D数据，处理步骤包括2D图像的解码、解压、感兴趣区域(ROI)提取以及图像超分辨率重建。在3D数据处理中，针对双目可见光摄像机采集的左右视差图像数据，处理步骤包括视差图像数据的解码、解压、ROI提取、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成；针对ToF深度摄像机采集的深度图和彩色图，处理步骤包括解码、解压、ROI提取、视差图像方向性映射以及立体图像合成；针对单目可见光摄像机采集的单幅图像，处理步骤包括解码、解压、ROI提取、2D转3D、视差图像渲染以及立体图像合成；针对摄像机阵列采集的视差图像序列，处理步骤包括解码、解压、ROI提取、3D重建、视差图像渲染以及立体图像合成。

进一步的，所述数据处理模块针对3D数据合成的立体图像可以是自由立体图像、集成成像微图像阵列或光场图像。

进一步的，所述显示模块中，2D/3D兼容显示屏的形状可以是柔性、平面、曲面或异形。

进一步的，所述2D/3D兼容显示屏可以是自由立体2D/3D兼容显示屏、集成成像2D/3D兼容显示屏或光场2D/3D兼容显示屏。

本发明提出的一种2D/3D兼容视觉伪装系统，工作于2D、3D两种状态，由目标检测模块的检测结果确定。当可见光侦察设备与待伪装目标的距离未超出阈值时，判定为3D工作状态，当超出距离阈值后，判定为2D工作状态。具体工作流程如下。

2D工作状态：在采集控制模块的参数控制下，采集模块获取背景的2D数据，传输至数据处理模块，进行解码、解压、ROI提取以及图像超分辨率重建，经由显示控制模块的相应参数调节，在显示模块上显示与环境亮度一致的背景2D图像，满足高空视角等远距离侦察的伪装需求。

3D工作状态：在采集控制模块的参数控制下，采集模块获取背景的3D数据，传输至数据处理模块，进行相应的处理和合成，生成与3D显示种类和参数对应的3D片源，经由显示控制模块的相应参数调节，在显示模块上显示具有平滑视差的背景3D图像，满足地面视角等近距离侦察的伪装需求。

本发明提出的一种2D/3D兼容视觉伪装系统，能够根据可见光侦察设备距待伪装目标的不同距离，自适应调节工作状态，完成对应2D或3D信息的获取与呈现，实现与周围环境的融合与匹配，达到自适应的视觉伪装效果，满足远近各种距离可见光侦察的伪装需求。

附图说明

本发明的前述方面及优点从下述结合附图与实施例的详细描述中将得以进一步明确和容易理解，其中：

图1为本申请的一种2D/3D兼容视觉伪装系统的框架图

图2为根据本申请一实施例的一维摄像机阵列的3D采集示意图

图3为根据本申请一实施例的3D伪装效果示意图(a)观看视角1(b)观看视角2

图4为根据本申请一实施例的3D工作状态的流程图

图5为根据本申请一实施例的摄像机2D采集示意图

图6为根据本申请一实施例的2D伪装效果示意图

图7为根据本申请一实施例的2D工作状态的流程图

上述附图中的图示标号为：

1采集模块，110一维摄像机阵列，111舵机云台，112背景山体，2采集控制模块，3目标检测模块，4数据处理模块，5显示控制模块，6显示模块，610车体，611自由立体2D/3D兼容显示屏

应该理解上述附图只是示意性的，并没有按比例绘制。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的可选的实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。

除非另有定义，本文所使用的所有技术和科学术语与属于发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

下面将结合本申请公开的实施例及附图对本申请提出的一种2D/3D兼容视觉伪装系统进行详细描述。

图1示出了本申请的2D/3D兼容视觉伪装系统的框架图。所述系统由采集模块1、采集控制模块2、目标检测模块3、数据处理模块4、显示控制模块5以及显示模块6组成。

在一个实施例中，待伪装目标为卡车，背景为山体，距离阈值设置为120米。侦察设备为可见光照相机，处在地面视角，位于车体前方20米处。由于可见光照相机距车体的距离小于阈值，此时设定为3D工作状态。

所述采集模块包括一维摄像机阵列和IMU。一维摄像机阵列如图2所示，位于车体后方，对背景山体进行拍摄。一维摄像机阵列包含4个摄像机，安装在三轴舵机云台上，可自由调整俯仰角、横滚角与方向角。摄像机阵列的所有摄像机均对背景山体进行拍摄，得到4幅视差图像，作为3D数据。IMU位于车体的几何中心，用于解算车体的姿态，包括俯仰角、横滚角以及方向角。

所述采集控制模块，用于控制采集模式、有效摄像机以及摄像机采集的参数，如俯仰角、横滚角、方向角、视角以及焦距等。该实施例中，采集控制模块包括微控制器和印刷电路板，其中印刷电路板用于承载微控制器。采集模式设定为3D采集，有效摄像机设定为一维摄像机阵列的所有摄像机。摄像机的俯仰角、横滚角、方向角、视角和焦距等参数根据解算的车体姿态以及可见光照相机的位姿相应调整。

所述目标检测模块采用多线激光雷达与单目可见光摄像机，通过融合的数据识别侦察设备，即可见光照相机的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息。

所述数据处理模块中，针对一维摄像机阵列采集的4幅视差图像，处理步骤包括视差图像的解码、解压、ROI提取、3D重建、视差图像渲染以及立体图像合成。在视差图像的渲染步骤中，视点设置于识别的可见光照相机位置附近。立体图像是自由立体图像，分辨率为3840×2160，由渲染的8幅视差图像通过立体图像合成算法得到。

所述显示控制模块包括感光子模块和控制子模块。感光子模块对周围环境的亮度和光强进行感知，输入到控制子模块，相应调节显示模块亮度。除亮度调节外，控制子模块还对液晶柱透镜光栅的驱动电压进行控制，并生成针对显示模块的3D显示信息，输入至显示模块。

所述显示模块采用柔性的自由立体2D/3D兼容显示屏，紧密贴合在车体表面，由柔性OLED屏与液晶柱透镜光栅精密耦合而成。柔性OLED屏的分辨率为3840×2160，其上显示合成的自由立体图像。根据显示控制模块发出的电压指令，向液晶柱透镜光栅施加电压，此时液晶层呈现分光特性，对OLED屏幕上像素发出的光线进行调制，自由立体2D/3D兼容显示屏工作于3D模式，显示背景山体的3D图像。图3示出了根据本申请一实施例的3D伪装效果示意图。

图4示出了根据本申请一实施例的3D工作状态的流程图。首先，设定3D采集模式，选择一维摄像机阵列的全体摄像机，根据解算的车体姿态以及识别的可见光照相机位姿，调整摄像机参数，如俯仰角、横滚角、方向角、视角和焦距等，获取背景山体不同角度的视差图像。然后，传输视差图像数据与姿态数据，被数据处理模块接收，进行解压、解码、ROI提取、3D重建、视差图像渲染以及立体图像合成，得到自由立体图像。最后，根据感知的周围环境亮度，相应调节自由立体2D/3D兼容显示屏的亮度，并向液晶柱透镜光栅施加电压，显示背景山体的3D图像，实现与周围环境的高度融合。

在另一实施例中，作为侦察设备的可见光照相机处在高空视角，对物体进行倾斜摄影，与车体的距离为300米。由于可见光照相机距车体的距离大于阈值，此时设定为2D工作状态。

所述采集模块中，一维摄像机阵列中心的摄像机对背景山体进行拍摄，如图5所示，得到背景的一幅图像，作为2D数据。IMU位于车体的几何中心，用于解算车体的姿态，包括俯仰角、横滚角以及方向角。

所述采集控制模块中，采集模式设定为2D采集，有效摄像机设定为位于一维摄像机阵列中心的单个摄像机，摄像机的俯仰角、横滚角、方向角、视角和焦距根据解算的车体姿态相应调整。

所述目标检测模块采用多线激光雷达与单目可见光摄像机，通过融合的数据识别可见光照相机的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息。

所述数据处理模块中，针对采集模块获取的2D图像数据，处理步骤包括2D图像的解码、解压、ROI提取以及图像超分辨率重建，其中图像超分辨率重建通过卷积神经网络算法实现，最终2D图像的分辨率为3840×2160。

所述显示控制模块中，感光子模块对周围环境的亮度和光强进行感知，输入到控制子模块，相应调节显示模块亮度。除亮度调节外，控制子模块将液晶柱透镜光栅的驱动电压设置为零，并生成针对显示模块的2D显示信息，输入至显示模块。

所述柔性自由立体2D/3D兼容显示屏中，柔性OLED屏上显示生成的高分辨率2D图像。根据显示控制模块发出的电压指令，不向液晶柱透镜光栅施加电压，此时液晶层无聚光作用，相当于透明平板，自由立体2D/3D兼容显示屏工作于2D模式，显示背景山体的2D图像。图6示出了根据本申请一实施例的2D伪装效果示意图。

图7示出了根据本申请一实施例的2D工作状态的流程图。首先，设定2D采集模式，选择一维摄像机阵列中心的摄像机，根据解算的车体姿态以及识别的可见光照相机位姿，调整摄像机参数，如俯仰角、横滚角、方向角、视角和焦距等，获取背景山体的2D图像。然后，传输2D图像数据与姿态数据，被数据处理模块接收，进行解压、解码、ROI提取以及图像超分辨率重建，得到高分辨率的背景2D图像。最后，根据感知的周围环境亮度，相应调节自由立体2D/3D兼容显示屏的亮度，并向液晶柱透镜光栅不施加电压，显示背景山体的2D图像，实现与周围环境的高度融合。

Claims (6)

1.一种2D/3D兼容视觉伪装系统，其特征在于，包括采集模块、采集控制模块、目标检测模块、数据处理模块、显示控制模块以及显示模块；所述采集模块，用于获取被待伪装目标遮挡的背景的2D或3D信息，包括摄像机子模块和惯性测量单元(IMU)，其中摄像机子模块用于采集背景的2D或3D数据，IMU位于待伪装目标的几何中心，用于解算待伪装目标的姿态，包括俯仰角、横滚角以及方向角；所述采集控制模块，用于控制采集模式、有效摄像机以及摄像机采集的参数，如俯仰角、横滚角、方向角、视角以及焦距等，以适应各种距离的背景；所述目标检测模块，用于识别可见光侦察设备的位姿，包括3D空间位置信息、3D姿态角度信息以及3D尺寸信息；所述数据处理模块，用于处理采集的2D或3D数据，根据显示种类、参数以及可见光侦察设备的位姿，生成对应于显示模块的2D平面或3D立体图像，用于2D或3D显示；所述显示控制模块，包括感光子模块以及控制子模块，其中感光子模块用于感知周围环境亮度及光强，输入至控制子模块上，相应调节显示模块亮度，控制子模块用于控制对应于2D或3D显示的参数，生成针对显示模块的2D或3D显示信息，输入至显示模块上；所述显示模块包括2D/3D兼容显示屏，与待伪装目标的表面紧密贴合，用于显示背景的2D或3D图像；

所述一种2D/3D兼容视觉伪装系统，当可见光侦察设备与待伪装目标的距离未超出阈值时，判定为3D工作状态，流程为：在采集控制模块的参数控制下，采集模块获取背景的3D数据，传输至数据处理模块，进行相应的处理和合成，生成与3D显示种类和参数对应的3D片源，经由显示控制模块的相应参数调节，在显示模块上显示具有平滑视差的背景3D图像，满足地面视角等近距离侦察的伪装需求；当超出距离阈值后，判定为2D工作状态，流程为：在采集控制模块的参数控制下，采集模块获取背景的2D数据，传输至数据处理模块，进行解码、解压、ROI提取以及图像超分辨率重建，经由显示控制模块的相应参数调节，在显示模块上显示与环境亮度一致的背景2D图像，满足高空视角等远距离侦察的伪装需求。

2.根据权利要求1所述的一种2D/3D兼容视觉伪装系统，其特征在于，所述采集模块中，摄像机子模块可以是双目可见光摄像机、ToF深度摄像机、单目可见光摄像机或摄像机阵列；具体的，双目可见光摄像机采集的左右视差图像可作为3D数据，左视差图像或右视差图像可作为2D数据；ToF深度摄像机采集的深度图和彩色图可作为3D数据，其中彩色图可作为2D数据；单目可见光摄像机采集的图像既可作为2D数据，也可作为3D原始数据；摄像机阵列采集的视差图像序列可作为3D数据，阵列中某个摄像机采集的单幅图像可作为2D数据；所述双目可见光摄像机、ToF深度摄像机、单目可见光摄像机或摄像机阵列的摄像机安装在舵机云台上，可自由调整其俯仰角、横滚角和方向角。

3.根据权利要求1所述的一种2D/3D兼容视觉伪装系统，其特征在于，所述目标检测模块可以是单目可见光摄像机、深度摄像机、双目可见光摄像机或激光雷达。

4.根据权利要求1和权利要求2任一所述的一种2D/3D兼容视觉伪装系统，其特征在于，所述数据处理模块中，针对采集的2D数据，处理步骤包括2D图像的解码、解压、感兴趣区域(ROI)提取以及图像超分辨率重建；在3D数据处理中，针对双目可见光摄像机采集的左右视差图像数据，处理步骤包括视差图像数据的解码、解压、ROI提取、立体匹配、深度图获取、视差图像方向性映射以及立体图像合成；针对ToF深度摄像机采集的深度图和彩色图，处理步骤包括解码、解压、ROI提取、视差图像方向性映射以及立体图像合成；针对单目可见光摄像机采集的单幅图像，处理步骤包括解码、解压、ROI提取、2D转3D、视差图像渲染以及立体图像合成；针对摄像机阵列采集的视差图像序列，处理步骤包括解码、解压、ROI提取、3D重建、视差图像渲染以及立体图像合成；所述立体图像可以是自由立体图像、集成成像微图像阵列或光场图像。

5.根据权利要求1所述的一种2D/3D兼容视觉伪装系统，其特征在于，所述显示模块中，2D/3D兼容显示屏的形状可以是柔性、平面、曲面或异形。

6.根据权利要求1所述的一种2D/3D兼容视觉伪装系统，其特征在于，所述显示模块中，2D/3D兼容显示屏可以是自由立体2D/3D兼容显示屏、集成成像2D/3D兼容显示屏或光场2D/3D兼容显示屏。

Images