CN112714303B - 一种红外立体成像方法、系统及设备 - Google Patents

Abstract

本发明公开了一种红外立体成像方法、系统及设备,所述方法包括：获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据；关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据；基于所述图像视差数据获得红外立体显示红外图像数据红外立体图像数据；基于距离数据对红外图像进行处理以进行景深增强，补偿红外图像景深不足的问题，能够显示体现景深和方位的立体图像避免出现视觉误差，从而发挥夜视产品的夜间准确观察作用，规避夜间危险。

Description

一种红外立体成像方法、系统及设备

技术领域

本发明涉及红外成像领域，具体涉及一种红外立体成像方法、系统及设备。

背景技术

近年来,红外夜视产品发展迅猛,已应用到灾难救援,动物追踪,环境监测等领域,在夜间视野不佳的场景下,利用红外技术成像观察夜间不易观察的环境,为搜救追踪监测等场景提供了巨大的便利。目前现有的红外成像方案通过红外采集热辐射,以点成面形成完整图像,数字编码后成像到平面显示设备上显示完整的视野图像。

但目前的红外技术成像单纯的显示图像,显示出的图像是平面不立体的，无法体现景深和方位的层次信息,易出现视觉误差,无法发挥夜视产品的夜间准确观察作用，容易导致工作人员依照显示图像进行的判断出错，可能带来生命安全的风险。

发明内容

本发明目的是：提供一种红外立体成像方法、系统及设备，显示体现景深和方位的红外夜视立体图像。

本发明的技术方案是：第一方面，提供一种红外立体成像方法,所述方法包括：

获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据；

关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据；

基于所述图像视差数据获得红外立体图像数据。

在一种较佳的实施方式中，所述获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据之后，所述方法还包括：

对所述红外图像数据进行划分以获得N个子图像数据，N≥2；

所述关联所述距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据具体包括：

关联所述距离数据与所述子图像数据，并基于所述距离数据对每个所述子图像数据进行景深增强以获得子图像视差数据；

合并所述子图像视差数据以获得所述图像视差数据。

在一种较佳的实施方式中，所述距离数据至少包括距离矩阵；所述景深增强包括非线性增强。

在一种较佳的实施方式中，所述获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据之前，所述方法还包括：

接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流；

对所述原始红外图像数据进行滤波去噪以获得所述红外图像数据。

在一种较佳的实施方式中，所述原始红外图像数据包括视频流中每一帧图像的图像信息。

在一种较佳的实施方式中，所述接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流之后还包括：

按第一预设规则对所述距离数据字节流进行排序并转换成距离信息矩阵；

按第二预设规则拼接所述距离信息矩阵以获得所述距离矩阵。

在一种较佳的实施方式中，所述关联所述距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据之后，所述方法还包括：

基于所述距离数据对所述图像视差数据进行偏移量校正处理。

在一种较佳的实施方式中，所述方法还包括：

传送所述红外立体图像数据至显示屏以供显示屏显示红外立体图像。

第二方面，提供一种红外立体成像系统，所述系统包括：

获取模块，用于获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据，以及用于基于图像视差数据获得红外立体显示红外图像数据；

景深增强模块，用于关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据。

第三方面，提供一种红外立体成像设备，所述设备包括第二方面所述的红外立体成像系统，还包括：

红外镜头，用于获取待成像物体的原始红外图像数据；

距离传感器，用于获取待成像物体的距离数据字节流；

显示屏，用于显示红外立体图像；

目镜，用于观察显示屏显示的红外立体图像。所述接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流

与现有技术相比，本发明的优点是：提供一种红外立体成像方法,所述方法包括：获取红外图像和距离数据；关联所述距离数据与红外图像，并基于所述距离数据对所述红外图像进行景深增强获得图像视差数据；基于所述图像视差数据获得红外立体显示红外图像；基于距离数据对红外图像进行处理以进行景深增强，补偿红外图像景深不足的问题，能够显示体现景深和方位的立体图像避免出现视觉误差，从而发挥夜视产品的夜间准确观察作用，规避夜间危险。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为实施例1所提供的一种红外立体成像方法的流程图；

图2为实施例2所提供的一种红外立体成像系统的结构图；

图3为实施例3所提供的一种红外立体成像设备的结构图；

图4为实施例3所提供的一种红外夜视仪的系统结构图；

其中：1、红外镜头；2、距离传感器；3、显示屏；4、目镜；5、红外立体成像系统；6、壳体。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：本实施例提供一种红外立体成像方法,参照图1所示，所述方法包括：

S1、获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据。

具体的，红外图像包括视频流中每一帧图像的图像信息。更具体的，红外图像包括红外镜头采集到的视频流里的每一帧红外图像,是RGB格式红外图像。距离数据为待成像物体各部位到采集红外图像的系统的距离。

本步骤具体包括：

S1-1、接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流。

S1-2a、对所述原始红外图像数据进行滤波去噪以获得所述红外图像数据。

具体的，对原始红外图像数据进行中值滤波和双边滤波，并去除噪声，从而得到红外图像数据。

S1-2b、基于距离数据字节流获得距离数据。所述距离数据至少包括距离矩阵。距离矩阵是一个包含一组点两两之间距离的矩阵(即二维数组)。于本实施例中，距离矩阵是包含待成像物体各个部位的点两两之间距离的矩阵。

S1-2b1、按第一预设规则对所述距离数据字节流进行排序并转换成距离信息矩阵。

示例性的，第一预设规则为由高位到低位的顺序排序。距离数据字节流通过由高位到低位的顺序额排列，并转换成所需要的与红外图像像素一一对应的距离信息矩阵。

S1-2b2、按第二预设规则拼接所述距离信息矩阵以获得所述距离矩阵。

示例性的，第二预设规则为按照像素矩阵大小组装。具体的，按照像素针织大小拼接距离信息矩阵以获得距离矩阵。

步骤S1-2a与步骤S1-2b可以是顺序进行，也可以是同时进行，本实施例对步骤S1-2a与步骤S1-2b的执行顺序不做具体限定。

S2-0、对所述红外图像数据进行划分以获得N个子图像数据，N≥2。

具体的，按像素拆分图像，更具体的，根据距离信息矩阵将红外图像数据按照预设的距离差值按像素分块，划分获得N个子图像数据，N≥2。

S2、关联待成像物体各部位的距离数据与红外图像数据，并基于距离数据对红外图像数据进行景深增强获得图像视差数据。

本步骤具体包括：

S2-1、关联所述距离数据与子图像数据，并基于所述距离数据对每个所述子图像数据进行景深增强以获得子图像视差数据。

具体的，根据每个子图像数据对应的距离信息,对子图像数据对应图像的景深做非线性增强,补偿红外图像景深不足的问题。

更具体的，景深的非线性增强通过以下函数实现：

函数f(x)为分段函数，其中：T为增强阈值，b和c为常量，取值(0,1)，当像素灰度小于T时所得的灰度值不变；像素灰度大于T，通过函数得到增强后的灰度值。图像视差数据/子图像视差数据至少包括函数运算后的灰度值。

S2-2、基于所述距离数据对所述图像视差数据进行偏移量校正处理。

具体的，对经函数运算进行非线性景深增强的子图像数据根据距离信息分别向左向右做图像偏移处理,距离越远,偏移越大。

更具体的，采用函数

其中：a为红外镜头到显示屏的垂直距离,b为红外夜视仪目镜到红外镜头中心位置的水平距离,z为图像真实场景的距离,即采集到的距离信息，f为计算出的偏移量。

S2-3、合并所述子图像视差数据以获得所述图像视差数据。

具体的，根据距离信息矩阵将红外图像数据按照预设的距离差值按像素分割获得的子图像数据，在经过步骤S2-2偏移量校正处理之后,需要拼接的相邻小图像边缘有以下两种情况：

情况一：图像边缘出现缝隙需要补充像素点；

情况二：两张图像边缘出现重叠需要剔除部分像素；

对于情况一：首先计算缺失的像素数量,采用均值补偿的方法填充像素数据，再合并经过填充像素数据后的子图像视差数据以获得图像视差数据。

对于情况二：采用舍弃距离数据大于预设阈值的像素方式去移除目标像素，获得剔除后的子图像视差数据，再完成图像合并获得图像视差数据。

更具体的，合并时将向右偏移的小图像合并成一张完整的图像,将向左偏移的小图像合并成一张完整的图像。

S3、基于图像视差数据获得红外立体图像数据。

具体的，叠加图层进行渲染,形成立体效果的红外立体图像。

S3-1、传送所述红外立体图像数据至显示屏上以供显示红外立体图像。

将红外立体图像传送到显示屏上供显示屏显示出红外立体图像，供目镜进行观察。更具体的，将步骤S2-3中将向右偏移的子图像数据合并成的完整图像传送至左侧目镜观察的显示屏上，将向左偏移的子图像数据合并成的完整图像传送至右侧目镜观察的显示屏上，通过双目目镜,根据双目视觉原理,左侧目镜观察左侧显示器,右侧目镜观察右侧显示器,获得立体显示图像的效果。

本实施例提供的提供一种红外立体成像方法,所述方法包括：获取待成像物体的红外图像数据和待成像物体各部位的距离数据；关联待成像物体各部位的距离数据与红外图像数据，并基于距离数据对红外图像数据进行景深增强获得图像视差数据；基于图像视差数据获得红外立体图像数据；基于距离数据对红外图像进行处理以进行景深增强，补偿红外图像景深不足的问题，能够显示体现景深和方位的立体图像避免出现视觉误差，从而发挥夜视产品的夜间准确观察作用，规避夜间危险。

进一步的，基于距离数据对所述图像视差数据进行偏移量校正处理，使得图像视差数据更准确防止图像偏差。

进一步的，根据距离信息矩阵,将图像按照距离差别较大的像素分块分割成多个小图像后分别对每个小图像进行景深增强后再合并，运算更快捷便利。

实施例2：本实施例提供一种红外立体成像系统，参照图2所示，所述系统包括：

获取模块21，用于获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据，以及用于基于图像视差数据获得红外立体显示红外图像数据。

所述获取模块21包括：

接收单元211，用于接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流；所述原始红外图像数据包括视频流中每一帧图像的图像信息。

排序模块212，用于按第一预设规则对所述距离数据字节流进行排序。

转换模块213，用于转换所述距离数据字节流以获得距离信息矩阵。

拼接单元214，用于按第二预设规则拼接所述距离信息矩阵以获得所述距离矩阵。

滤波去噪单元215，用于对所述原始红外图像数据进行滤波去噪以获得所述红外图像数据。

景深增强模块22，用于关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据。

所述景深增强模块22包括：

划分单元221，用于对所述红外图像数据进行划分以获得N个子图像数据，N≥2；

关联单元222，用于关联所述距离数据与所述子图像数据；

景深增强单元223，用于基于所述距离数据对每个所述子图像数据进行景深增强以获得子图像视差数据；

合并单元224，用于合并所述子图像视差数据以获得所述图像视差数据；

所述系统还包括：偏移量校正处理模块23，用于基于所述距离数据对所述图像视差数据进行偏移量校正处理。

传送模块24，用于传送所述红外立体图像数据至显示屏上以供显示屏显示红外立体图像。

需要说明的是：上述实施例提供的红外夜视立体成像系统在执行红外夜视立体成像业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，本实施例提供的一种问题定位系统与实施例1所提供的一种红外立体成像方法的实施例属于同一构思，即该系统是基于该方法的，其具体实现过程详见方法实施例，这里不再赘述。

实施例3：本实施例提供一种红外立体成像设备，参照图3所示，所述设备包括实施例提供的红外立体成像系统5，还包括：

红外镜头1，用于获取待成像物体的原始红外图像数据；

距离传感器2，用于获取待成像物体的距离数据字节流；距离数据字节流为待成像物体各部位到红外镜头1的距离；

显示屏3，用于显示红外立体图像；

目镜4，用于观察显示屏显示的红外立体图像。

还包括壳体6，其中，红外立体成像系统5设置于壳体6内。

示例性的，本实施例中提供的红外立体成像设备为红外夜视仪，红外夜视仪包括壳体6，壳体6上嵌设有目镜4、红外镜头1、显示屏3和距离传感器2，壳体6内置有成像系统100，成像系统100中包含有处理组件105，红外立体成像系统5包含于处理组件105中。

处理组件105可以是一个或多个处理器，示例性的，是微处理器、CPU、GPU、单核处理器、多核处理器、微控制器等中的一个或多个，参照图4所示，处理组件105中包含红外立体成像系统5，处理组件可以被配置为与成像系统100中的各种其他组件接口和通信，以执行所需的操作。

成像系统100还包括：图像捕获组件115，具体的，图像捕获组件115包括图像检测电路165及图像读取电路170，更具体的，图像检测电路165内置于红外镜头中捕获场景160的图像，可以检测场景160的图像数据，并基于场景160生成图像的像素值。

图像读取电路170读取图像获得原始红外图像数据，原始红外图像数据经由图像接口120传输至处理组件105中由红外立体成像系统进行立体成像处理。图像接口120可以将接收到的视频信号转换为适于由处理组件105处理的数字视频/图像数据。

成像系统100还包括：

存储组件110，用于存储处理组件105接收到的原始红外图像数据；图像捕获组件115与存储组件110接口或通信以从存储组件110中检索存储的图像数据。

存储组件110可以包括一种或多种不同类型的存储器设备，包括易失性和非易失性存储器设备，例如随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态RAM(SRAM)，非易失性随机存取存储器(NVRAM)，只读存储器(ROM)，可编程只读存储器(PROM)，可擦除可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM)，闪存，硬盘驱动器和/或其它类型的存储器。

成像系统100还包括：

控制组件125，控制部件125包括用户输入和/或接口设备，例如按钮，滑杆，键盘和/或其它设备，其适于产生用户输入控制信号。处理组件105可以被配置为经由控制组件125感测来自用户的控制输入信号，并且响应于从其接收的任何感测的控制输入信号；

感测组件135，具体的，感测组件135包括内置于距离传感器2中的电路；

显示组件130，具体的，显示组件130包括内置于显示屏3内的电路；

网络接口140，该网络接口140被配置成便于通过网络155在成像系统100的各个部件之间进行有线和/或无线通信，或者：通过网络155与远程设备150进行通信。

红外夜视仪还可以包括便携式的和/或与成像系统100分开设置的机器可读存储介质145(例如：存储器、硬盘驱动器、光盘、数字视频盘或闪存)，机器可读存储介质145可以存储由计算机等逻辑设备执行或访问的软件指令和/或配置数据，以执行各种方法和操作。

需要说明的是：成像系统100的各种部件可以根据需要或根据应用或要求来组合和/或实现或不实现。

尽管已描述了本发明实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例中范围的所有变更和修改。

当然上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明主要技术方案的精神实质所做的修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种红外立体成像方法,其特征在于，所述方法包括：

获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据，包括：

接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流；

对所述原始红外图像数据进行滤波去噪以获得所述红外图像数据；

基于所述距离数据字节流数据获得所述待成像物体各部位的距离数据，包括：

以由高位到低位的顺序对所述距离数据字节流进行排序并转换成距离信息矩阵；

按照像素矩阵大小组装拼接所述距离信息矩阵以获得距离矩阵；所述距离数据至少包括所述距离矩阵,所述距离矩阵包括待成像物体各个部位的点两两之间距离的矩阵；

关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据，所述景深增强包括非线性增强；

基于所述图像视差数据获得红外立体图像数据。

2.根据权利要求1所述的一种红外立体成像方法，其特征在于，所述获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据之后，所述方法还包括：

对所述红外图像数据进行划分以获得N个子图像数据，N≥2；

所述关联所述距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据具体包括：

关联所述距离数据与所述子图像数据，并基于所述距离数据对每个所述子图像数据进行景深增强以获得子图像视差数据；

合并所述子图像视差数据以获得所述图像视差数据。

3.根据权利要求1所述的一种红外立体成像方法，其特征在于，所述原始红外图像数据包括视频流中每一帧图像的图像信息。

4.根据权利要求1所述的一种红外立体成像方法，其特征在于，所述关联所述距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据之后，所述方法还包括：

基于所述距离数据对所述图像视差数据进行偏移量校正处理。

5.根据权利要求1所述的一种红外立体成像方法，其特征在于，所述方法还包括：

传送所述红外立体图像数据至显示屏以供显示屏显示红外立体图像。

6.一种红外立体成像系统，其特征在于，所述系统包括：

获取模块，用于获取待成像物体的红外图像数据和所述待成像物体各部位的距离数据，以及用于基于图像视差数据获得红外立体图像数据，包括：

接收单元，用于接收红外镜头传送的待成像物体的原始红外图像数据和距离传感器传送的待成像物体的距离数据字节流；

滤波去噪单元，用于对所述原始红外图像数据进行滤波去噪以获得所述红外图像数据；

所述获取模块还用于：以由高位到低位的顺序对所述距离数据字节流进行排序并转换成距离信息矩阵；

按照像素矩阵大小组装拼接所述距离信息矩阵以获得距离矩阵；所述距离数据至少包括所述距离矩阵,所述距离矩阵包括待成像物体各个部位的点两两之间距离的矩阵；

景深增强模块，用于关联所述待成像物体各部位的距离数据与红外图像数据，并基于所述距离数据对所述红外图像数据进行景深增强获得图像视差数据，所述景深增强包括非线性增强。

7.一种红外立体成像设备，其特征在于，所述设备包括如权利要求6所述的红外立体成像系统，还包括：

红外镜头，用于获取待成像物体的原始红外图像数据；

距离传感器，用于获取待成像物体的距离数据字节流；

显示屏，用于显示红外立体图像；

目镜，用于观察显示屏显示的红外立体图像。

Images