CN114565537B - 一种基于局部信息熵的红外成像装置 - Google Patents

Abstract

一种基于局部信息熵的红外成像装置，用于对固定场景的图像采集，探测器将探测出的每帧图像的像素对应的灰度数据以及每个像素对应的温度数值发送到中央处理器；识别出每帧图像的背景场景、动态场景、临时场景，以及确定不同场景下对象标识；计算三种场景下各图像模块对应的像素的增强系数，所述增强系数用于调整各个像素的对比度；增强系数表存储在所述图像处理器的缓存；图像增强管线根据缓存中的增强系数表对红外图像像素的对比度进行非均匀校正实现每帧红外图像的渲染。本发明提供将图像信息熵信息引入到图像直方图统计中，在增强图像对比度的基础上有效提升了图像的细节和信息量，自适应的把不同场景红外图像增强到最佳的视觉效果。

Description

一种基于局部信息熵的红外成像装置

本申请是2021年11月12日提交中国专利局，申请号为2021113365615名称为“基于局部信息熵的红外成像装置”的中国专利申请的分案申请。

技术领域

本发明涉及红外图像增强技术领域，更具体的说，特别涉及一种基于局部信息熵的红外成像装置。

背景技术

经过非均匀性校正后的红外图像一般具有很大的灰度级范围（大于14bit），如果不做任何增强处理无法直接显示，即使增强后的图像仍然会呈现出对比度弱、分辨率低、图像模糊、信噪比差的特点。因此，提高红外图像对比度，增强视觉效果，改善图像显示质量的红外图像增强是非均匀校正之后、成像显示之前的一个必不可少的步骤。只有经过视觉增强后的红外图像才能输出显示或者给后续的探测、识别和跟踪等应用系统使用，因此高性能的场景自适应红外图像增强算法是研制红外成像系统的核心环节。目前国内外主要研究的红外图像增强算法有直方图增强技术、图像平滑处理、图像锐化处理、模糊算法、伪彩色处理等增强方法。图像平滑算法主要是滤除红外图像的底纹噪声，运算量较大、耗时较长，没有提升图像对比度。图像锐化处理只是提升红外图像细节，另外单纯的模板锐化算法，处理后会带来大量的噪声，不适合红外图像应用。伪彩色处理只是增加人眼的视觉感知效果，对图像细节和对比度、信息量方面没有增强。

因此，现有技术存在的问题，有待于进一步改进和发展。

发明内容

（一）发明目的：为解决上述现有技术中存在的问题，本发明的目的是提供一种针对红外图像，将红外图像的局部信息熵应用到红外图像对比度的校正调整，以便得到更好效果的红外图像。

（二）技术方案：为了解决上述技术问题，本技术方案提供一种基于局部信息熵的红外成像装置，用于对固定场景的红外图像采集和显示，其中：

所述红外成像装置包括探测器，还包括用于图像渲染处理的中央处理器和图像处理器，所述红外成像装置的探测器将探测出的每帧图像的像素对应的灰度数据以及每个像素对应的温度数值发送到中央处理器；

所述中央处理器的图像识别单元识别出每帧图像的背景场景、动态场景、临时场景，以及确定不同场景下对象标识；

所述中央处理器的信息熵计算单元，计算三种场景下各图像模块对应的像素的增强系数，所述增强系数用于调整各个像素的对比度；增强系数表存储在所述图像处理器的缓存；

所述图像处理器包括图像增强管线和渲染图像的图元装配单元，所述图像增强管线根据缓存中的增强系数表对红外图像像素的对比度进行非均匀校正；之后利用图元装配单元实现每帧红外图像的渲染。

所述一种基于局部信息熵的红外成像装置，其中：所述背景场景为第一阈值内不发生变动的资源轮廓；所述动态场景为第二阈值内不发生变动的资源轮廓；所述临时场景为第三阈值内发生变动的资源轮廓。

所述一种基于局部信息熵的红外成像装置，其中：所述图像识别单元识别出每帧图像的背景场景、动态场景和临时场景对应的资源，为场景对应的资源设置场景属性标识；所述图像识别单元根据轮廓识别出的对象为场景下的资源，并为对象设置资源标识。

所述一种基于局部信息熵的红外成像装置，其中：所述信息熵计算单元包括精度设置模块、精度规则判断模块和熵计算模块；

精度设置模块为不同场景设置高低不同的信息熵计算精度：所述背景场景包括第一精度和第二精度，所述第一精度高于第二精度；所述动态场景包括第三精度和第四精度，所述第三精度高于第四精度；所述临时场景包括第五精度和第六精度，所述第五精度高于第六精度。

所述一种基于局部信息熵的红外成像装置，其中：所述精度规则判断模块，用于设置不同场景的精度选择策略：

所述背景场景设置的规则如下：将背景场景的图像和上一帧图像的背景场景比较，如果轮廓变化大于30%，当前帧选择第一精度进行信息熵计算；否则，当前帧选择第二精度进行信息熵计算。

所述一种基于局部信息熵的红外成像装置，其中：所述动态场景，满足任意第三精度的规则，则采用第三精度进行信息熵计算，设置的规则如下：

规则一：如果轮廓变化大于30%，当前帧选择第三精度进行信息熵计算；否则，当前帧选择第四精度进行信息熵计算；

规则二：如果物理轮廓大于轮廓阈值采用第三精度进行信息熵计算，否则采用第四精度进行信息熵计算；

规则三：如果物理轮廓位于屏幕中心距离阈值内，则采用第三精度进行计算，否则，采用第四精度进行计算。

所述一种基于局部信息熵的红外成像装置，其中：

所述临时场景满足任意第五精度的规则，则采用第五精度进行信息熵计算，设置的规则如下：

规则一：如果物理轮廓大于轮廓阈值采用第五精度进行信息熵计算，否则采用第六精度进行信息熵计算；

规则二：如果物理轮廓位于屏幕中心距离阈值内，则采用第五精度进行计算否则采用第六精度进行计算；

规则三：如果物理轮廓为设置的重点识别对象名称，则对物理轮廓进行第五精度计算。

所述一种基于局部信息熵的红外成像装置，其中，所述图像处理器的缓存存储红外图像每个像素对应的增强系数表，所述增强系数表包括：像素位置、场景属性标识、像素温度、资源标识、增强系数。

所述一种基于局部信息熵的红外成像装置，其中，所述图像增强管线包场景数据分层模块、校正计算模块、和场景叠加模块；

所述场景数据分层模块根据像素的场景属性标识，快速识别像素对应的场景类别，根据场景类别进行并行增强处理；

所述校正计算模块对应场景数据分层模块的并行处理方式，将背景场景、动态场景和临时场景对应的像素的对比度，并行利用缓存中的增强系数进行增强处理，然后发送到场景叠加模块；

所述场景叠加模块接收增强后的背景场景、动态场景、和临时场景的像素组合后发送到图元装配单元渲染显示。

（三）有益效果：本发明提供一种基于局部信息熵的红外成像装置，将图像信息熵信息引入到图像直方图统计中，在增强图像对比度的基础上有效提升了图像的细节和信息量，自适应的把不同场景红外图像增强到最佳的视觉效果。进一步针对红外图像的场景的不同，将不同场景的红外图像的局部信息熵运用不同的精度算法，得到用于红外图像各场景下不同图像模块对应像素的增强系数，对每帧红外图像像素的对比度，进行非均匀校正，已得到更好效果的红外图像。

附图说明

图1是本发明基于局部信息熵的红外成像装置的框架图；

图2是使用局部信息熵的红外成像装置前采集的原图；

图3是使用局部信息熵的红外成像装置后得到得清晰图像。

具体实施方式

下面结合优选的实施例对本发明做进一步详细说明，在以下的描述中阐述了更多的细节以便于充分理解本发明，但是，本发明显然能够以多种不同于此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下根据实际应用情况作类似推广、演绎，因此不应以此具体实施例的内容限制本发明的保护范围。

附图是本发明的实施例的示意图，需要注意的是，此附图仅作为示例，并非是按照等比例的条件绘制的，并且不应该以此作为对本发明的实际要求保护范围构成限制。

本发明基于局部信息熵的红外成像装置，用于对固定场景的红外图像采集和显示；所述红外成像装置包括探测器，还包括用于图像渲染处理的中央处理器和图像处理器，如图1所示，所述红外成像装置的探测器将探测出的红外图像对应的数据发送到中央处理器，具体的为探测器的像素对应的灰度数据以及每个像素对应的温度数值。

所述中央处理器的图像识别单元根据接收到的每帧红外图像对应的像素，根据像素的灰度值获取红外图像轮廓的顶点位置，并根据红外图像的轮廓进行场景和对象识别。所述图像识别单元识别出红外图像的背景场景、动态场景、临时场景，所述背景场景为固定场景中不变的场景资源，包括场景的地貌、固定建筑等不动资源，这些资源的轮廓随时间变化小；所述背景场景为第一阈值内不发生变动的资源轮廓，例如雪地场景中的固定建筑物、雪属于背景场景，所述第一阈值优选的为24小时；所述动态场景为第二阈值内不发生变动的资源轮廓；所述临时场景为第三阈值内发生变动的资源轮廓。而雪地中超过2个小时的汽车为动态场景，而停留不超过3分钟的人为临时场景。第二阈值与场景的对象变化相关，优选的为2小时；第三阈值优选的为10分钟。

所述图像识别单元识别出每帧图像的背景场景、动态场景和临时场景对应的资源，并为不同的资源设置不同的场景属性标识。所述同一背景场景对应的动态场景可以包括多个对象，多个对象可以动态变化；所述临时场景也可以对应多个对象，多个对象也可以动态变化；这三组场景的轮廓组合成了红外图像识别装置的每帧图像轮廓。所述图像识别单元根据轮廓识别出的对象为不同场景下的资源，并为对象设置资源标识。

所述中央处理器连接图像库，所述图像库可以存储在所述红外图像成像装置的存储单元或者远程的服务器，这里不做限制。所述中央处理器的图像识别单元将识别出的图像轮廓和图像温度结合，同图像库比对，得出红外图像的对象名称，并根据对象名称和对象在场景停留的时间，计算出红外图像的对象场景属性标识。

本发明所述中央处理器还包括信息熵计算单元，用于计算三种场景下各图像模块对应的像素的增强系数，所述增强系数用于调整各个像素的对比度。

所述信息熵计算单元包括精度设置模块，所述精度设置模块单元对背景场景、动态场景和临时场景用不同的精度的算法进行设置。所述背景场景包括第一精度和第二精度，所述第一精度高于第二精度。所述动态场景包括第三精度和第四精度，所述第三精度高于第四精度。所述临时场景包括第五精度和第六精度，所述第五精度高于第六精度。本发明为图像的不同场景部分设置高低不同的信息熵计算精度，使中央处理器可以根据具体图像选择不同的精度进行计算，以节约中央处理器的计算性能，并得出最后的图像调整效果。所述精度是指信息熵计算过程中每个图像模块对应的图像块密度不同，例如每个图像模块中是3*3图像,还是9*9图像，每个图像模块所用的密度越大，信息熵的计算精度越高。

所述信息熵计算单元还包括精度规则判断模块，用于设置不同场景的精度选择策略。优选的本发明可以为背景场景设置的规则如下：将背景场景的图像和上一帧图像的背景场景比较，如果轮廓变化大于30%，当前帧选择第一精度进行信息熵计算；否则，当前帧选择第二精度进行信息熵计算。

所述动态场景设置的规则如下：规则一：如果轮廓变化大于30%，当前帧选择第三精度进行信息熵计算；否则，当前帧选择第四精度进行信息熵计算。规则二：如果物理轮廓大于轮廓阈值采用第三精度进行信息熵计算，否则采用第四精度进行信息熵计算。规则三：如果物理轮廓位于屏幕中心距离阈值内则采用第三精度进行计算，否则，采用第四精度进行计算。满足任意第三精度的规则，则采用第三精度进行信息熵计算。

所述临时场景设置的规则如下：规则一：如果物理轮廓大于轮廓阈值采用第五精度进行信息熵计算，否则采用第六精度进行信息熵计算。规则二：如果物理轮廓位于屏幕中心距离阈值内，则采用第五精度进行计算否则采用第六精度进行计算。规则三：如果物理轮廓为设置的重点识别对象名称，则对物理轮廓进行第五精度计算。满足任意第五精度的规则，则采用第五精度进行信息熵计算。

所述信息熵计算单元根据精度设置模块和精度规则判断模块的结果，利用熵计算模块实现当前帧图像不同场景的信息熵计算，并得到每帧图像不同部分的增强系数，并将不同部分包括的像素赋予对应的增强系数。本发明所述熵计算模块根据图像模块对应的精度规则判断模块选择信息熵对应的精度，计算图像模块对应的信息熵。

本发明所述信息熵计算单元根据设定的精度和规则，对每帧不同背景的图像进行信息熵计算。由于本发明对每帧图像进行了背景属性的区域，这样能快速确定背景场景和动态场景中的不变图像，对不变图像的信息熵可以直接复用，从而减少信息熵计算单元的计算量，加快中央处理器的处理速度。

本发明所述熵计算单元，对每帧红外图像的像素通过场景属性的不同在资源数据库中进行存储，所述资源数据库中包括：像素位置、场景属性标识、像素温度、资源标识等数据。

图像模块对应的基于局部信息熵的红外成像装置的熵计算模块包括:信息熵计算子模块、统计子模块和映射子模块；采集目标区域的图像，信息熵计算子模块根据对应的精度，对图像的局部信息熵进行计算；所述统计子模块根据图像局部信息熵得到统计直方图，所述映射子模块将统计直方图映射到图像直方图，得到增强系数。本发明局部信息熵的计算细化到每帧图像的不同场景和场景下的对象，使高精度计算的信息熵的结果复用成为可能。

本发明以信息熵计算模块对3*3图像的局部灰度信息熵进行计算为例进行详细描述，具体包括，

步骤1，信息熵计算模块计算3*3局部图像中每一级灰度的熵；

步骤2，信息熵计算模块计算3*3局部图像像素点的灰度信息熵。

所述步骤1局部图像中每一级灰度熵的计算公式为：

(k=1,2,3…

)

式中：

为局部图像灰度级k的信息熵，k为子区域内灰度级；N为局部窗口内灰度级的个数；

为第k级像素的出现概率。

所述步骤2局部图像像素点的灰度信息熵计算公式为：

式中：

局部图像灰度级k的信息熵，N是局部窗口内灰度级总数，n是各个灰度级。

通过变换函数将图像局部信息熵得到统计直方图映射到均匀分布的图像直方图上，使输出图像所有局部信息熵最大分布，从而增强图像的对比度，得到清晰图像对应的增强系数。

所述变换函数为:

其中函数

代表信息熵均衡过程，它的计算过程如下：

已知输入图像像素局部熵

，局部信息熵范围为L，均衡后得到输出图像

，

和输入图像之间变换关系如下：

式中：H（n）为局部窗口内灰度级局部信息熵统计直方图；

信息熵计算模块对是对3*3图像的局部灰度信息熵进行计算：首先，信息熵计算模块根据局部图像中每一级灰度熵的计算公式，计算3*3局部图像中每一级灰度的熵。然后信息熵计算模块根据局部图像像素点的灰度信息熵计算公式，计算3*3局部图像像素点的灰度信息熵，最后得到图像的局部信息熵。

使包含多个不同温度目标的红外图像可以得到较好的效果，并且对单一目标的红外场景也有很强的自适应能力，并且算法计算简单，可以同时增强细节和对比度，实现多组算法优势一体的效果，适合工程实现。

基于局部信息熵的红外成像装置，针对红外图像的特点，将红外图像的局部信息熵运用于红外图像的增强上，从红外图像的局部信息熵分布出发，将图像信息熵信息引入到图像直方图统计中，在增强图像对比度的基础上有效提升了图像的细节和信息量，自适应的把不同场景红外图像增强到最佳的视觉效果，如图2和图3所示。

所述图像处理器的缓存存储红外图像每个像素对应的增强系数表，所述增强系数表包括：像素位置、场景属性标识、像素温度、资源标识、增强系数等数据。

所述图像处理器包括图像增强管线和渲染图像的图元装配单元，还包括缓存，所述缓存存储图像增强管线的增强系数表，用于对探测器的像素的灰度数根据增强系数表据进行非均匀校正。所述图元装配单元包括顶点着色器（Vertex Shader）、几何着色器和片元着色器（Fragment Shader），用于对红外成像装置的图像做轮廓线条的成像渲染，以及对图像做像素的上色渲染。本发明所述红外成像装置的成像加入图像处理器，使红外成像装置的成像细节更加细致，此外，图像处理器可以实现对不同焦距下成像的灰度数据做实时的非均匀校正，使红外成像装置的图像减少探测器非均匀性带来的图像边缘细节质量下降问题。

所述顶点着色器、几何着色器和片元着色器为可编程管线，本发明根据红外热装置的成像特点，对顶点着色器、几何着色器和片元着色器的功能进行编辑改进。本发明的顶点着色器和几何着色器是根据红外图像对应的灰度图的顶点数据，实现图像二维轮廓的图像处理和渲染。

所述图像增强管线包场景数据分层模块、校正计算模块、和场景叠加模块。所述图像增强管线处理的是红外图像每帧的对象的像素，采用不同场景的分层计算，也就是数据的并行处理，以及场景叠加可以加快图像增强的处理速度和精度。

所述场景数据分层模块根据像素的场景属性标识，快速识别像素对应的场景类别，根据场景类别进行并行增强处理。所述图像增加管线的校正计算模块对应场景数据分层模块的并行处理方式，也将背景场景、动态场景和临时场景对应的像素的对比度非均匀校正，并行利用缓存中的增强系数进行增强处理，然后发送到场景叠加模块。所述场景叠加模块接收增强后的背景场景、动态场景、和临时场景的像素进行组合后渲染。由于背景场景、动态产场景和临时场景的增强系数的更新频率依次增加，为了给动态场景和临时场景的增加系数更新的时间，本发明场景叠加模块数据处理时的顺序为：背景场景、动态场景和临时场景，以提高图像处理的速度。

所述图像增强管线将通过信息熵计算的增强系数对像素的对比度数值进行调整，并将调整后的像素数据发送到所述图元装配单元的顶点着色器。

本发明顶点着色器分为输入和输出两部分,负责的功能是把图像增强管线输入的顶点数据进行矩阵变换位置,得到顶点的位置坐标，本发明顶点着色器的属性，只包括顶点数据的空间位置。所述几何着色器可以对顶点位置进行差值运算以精细化红外成像的轮廓细节。本发明的片元着色器，计算像素对应的温度以确定每个像素的最终颜色，所述像素对应的颜色可以存储在所述图像处理器的缓存，并根据帧处理的顺序存储到所述帧缓存，所述图像处理器根据顶点位置以及像素的颜色对红外成像装置的图像进行渲染输出。

所述片元着色器和可以根据像素的场景属性标识，对不同的场景属性采用的不同抗锯齿计算方式。所述背景场景的对象变动微小，可以采用高精度采样抗锯齿计算方式，进行计算，并对背景场景的高精度抗锯齿计算结果进行缓存，再背景场景改变前，直接采用缓存的高精度抗锯齿数据进行计算。对于动态场景，可以根据动态场景的更新，采用缓存的高精抗锯齿数据进行计算。对于临时场景，采用高精度抗锯齿数据进行渲染，这样的策略减少了抗锯齿计算的运算量，提高整体红外图像轮廓的平滑性能。

本发明基于局部信息熵的红外成像装置，使用中央处理器和图像处理器处理器对红外图像进行不同场景下的信息熵计算，对不同场景的局部信息熵采用不同计算规则，使红外图像所有局部信息熵最大分布，从而增强图像的对比度，提高红外图像的成像效果。

以上内容是对本发明创造的优选的实施例的说明，可以帮助本领域技术人员更充分地理解本发明创造的技术方案。但是，这些实施例仅仅是举例说明，不能认定本发明创造的具体实施方式仅限于这些实施例的说明。对本发明创造所属技术领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干简单推演和变换，都应当视为属于本发明创造的保护范围。

Claims (9)

1.一种基于局部信息熵的红外成像装置，用于对固定场景的红外图像采集和显示，其特征在于：

所述红外成像装置包括探测器，还包括用于图像渲染处理的中央处理器和图像处理器，所述红外成像装置的探测器将探测出的每帧图像的像素对应的灰度数据以及每个像素对应的温度数值发送到中央处理器；

所述中央处理器的图像识别单元识别出每帧图像的背景场景、动态场景和临时场景，以及确定不同场景下对象标识；

所述中央处理器的信息熵计算单元，计算三种场景下各图像模块对应的像素的增强系数，所述增强系数用于调整各个像素的对比度；增强系数表存储在所述图像处理器的缓存；

所述信息熵计算单元包括熵计算模块，所述熵计算模块包括:信息熵计算子模块、统计子模块和映射子模块；所述图像识别单元采集目标区域的图像，信息熵计算子模块根据背景场景、动态场景和临时场景对应的精度，对图像的局部信息熵进行计算；所述统计子模块根据图像局部信息熵得到统计直方图，所述映射子模块将统计直方图映射到图像直方图，得到增强系数；

所述图像处理器包括图像增强管线和渲染图像的图元装配单元，所述图像增强管线根据缓存中的增强系数表对红外图像像素的对比度进行非均匀校正；之后利用图元装配单元实现每帧红外图像的渲染。

2.根据权利要求1所述一种基于局部信息熵的红外成像装置，其特征在于：所述背景场景为第一阈值内不发生变动的资源轮廓；所述动态场景为第二阈值内不发生变动的资源轮廓；所述临时场景为第三阈值内发生变动的资源轮廓。

3.根据权利要求1所述一种基于局部信息熵的红外成像装置，其特征在于：所述图像识别单元识别出每帧图像的背景场景、动态场景和临时场景对应的资源，为场景对应的资源设置场景属性标识；所述图像识别单元根据轮廓识别出的对象为场景下的资源，并为对象设置资源标识。

4.根据权利要求3所述一种基于局部信息熵的红外成像装置，其特征在于：所述信息熵计算单元包括精度设置模块、精度规则判断模块；

所述精度设置模块为不同场景设置高低不同的信息熵计算精度：所述背景场景包括第一精度和第二精度，所述第一精度高于第二精度；所述动态场景包括第三精度和第四精度，所述第三精度高于第四精度；所述临时场景包括第五精度和第六精度，所述第五精度高于第六精度。

5.根据权利要求4所述一种基于局部信息熵的红外成像装置，其特征在于：所述精度规则判断模块，用于设置不同场景的精度选择策略：

所述背景场景设置的规则如下：将背景场景的图像和上一帧图像的背景场景比较，如果轮廓变化大于30％，当前帧选择第一精度进行信息熵计算；否则，当前帧选择第二精度进行信息熵计算。

6.根据权利要求5所述一种基于局部信息熵的红外成像装置，其特征在于：所述动态场景，满足任意第三精度的规则，则采用第三精度进行信息熵计算，设置的规则如下：

规则一：如果轮廓变化大于30％，当前帧选择第三精度进行信息熵计算；否则，当前帧选择第四精度进行信息熵计算；

规则二：如果物理轮廓大于轮廓阈值采用第三精度进行信息熵计算，否则采用第四精度进行信息熵计算；

规则三：如果物理轮廓位于屏幕中心距离阈值内，则采用第三精度进行计算，否则，采用第四精度进行计算。

7.根据权利要求6所述一种基于局部信息熵的红外成像装置，其特征在于：

所述临时场景满足任意第五精度的规则，则采用第五精度进行信息熵计算，设置的规则如下：

规则一：如果物理轮廓大于轮廓阈值采用第五精度进行信息熵计算，否则采用第六精度进行信息熵计算；

规则二：如果物理轮廓位于屏幕中心距离阈值内，则采用第五精度进行计算，否则采用第六精度进行计算；

规则三：如果物理轮廓为设置的重点识别对象名称，则对物理轮廓进行第五精度计算。

8.根据权利要求7所述一种基于局部信息熵的红外成像装置，其特征在于，所述图像处理器的缓存存储红外图像每个像素对应的增强系数表，所述增强系数表包括：像素位置、场景属性标识、像素温度、资源标识和增强系数。

9.根据权利要求8所述一种基于局部信息熵的红外成像装置，其特征在于，所述图像增强管线包场景数据分层模块、校正计算模块、和场景叠加模块；

所述场景数据分层模块根据像素的场景属性标识，快速识别像素对应的场景类别，根据场景类别进行并行增强处理；

所述校正计算模块对应场景数据分层模块的并行处理方式，将背景场景、动态场景和临时场景对应的像素的对比度，并行利用缓存中的增强系数进行增强处理，然后发送到场景叠加模块；

所述场景叠加模块接收增强后的背景场景、动态场景、和临时场景的像素组合后发送到图元装配单元渲染显示。

Images