CN115311126A - 低照度视频图像增强方法及系统 - Google Patents

Abstract

本发明实施例提供一种低照度视频图像增强方法及系统，属于图像处理技术领域。所述方法包括：采集低照度视频图像信息；将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；显示处理后的图像信息。本发明方案通过有限度的调整图像局部对比度来增强有效信号和抑制噪声信号，以达到图像处理的效果，能够实现对实时采集的微光视频信息进行对应的图像增强处理，保证用户使用体验度。

Description

低照度视频图像增强方法及系统

技术领域

本发明涉及图像处理技术领域，具体地涉及一种低照度视频图像增强方法及一种低照度视频图像增强系统。

背景技术

微光夜视技术的运用领域被不断扩展，无论是在军事还是民用领域都能看到它的身影。但其依旧存在微光视频图像的噪声大、对比度和信噪比较低并且灰度级范围集中的问题，所以图像质量无论是在显示效果上还是在实际应用过程中对于目标的识别都有较大的影响。想要清晰的实现微光夜视技术的利用，就不得不对微光视频的图像进行增强，使得其能够满足用户需求。传统的视频图像增强方法基本上可分成两大类：一种是基于频域的处理方法，另一种是基于空间域的处理方法。其中直方图均衡法是最为成熟的空间域处理手段之一。但是运用传统的直方图均衡法处理微光视频图像，会产生过度曝光和放大噪声的现象，不利于获取图像更深层次的细节信息。传统的图像处理方法大多基于DSP、MCU以及FPGA。基于DSP和MCU的处理方法是通过串行的方式，如果需要处理并行的数据，则需要通过数据中断的操作进行，这大大影响图片的处理效率。基于现有微光图像增强方法存在的噪声放大和处理效率低的问题，需要创造一种新的低照度视频图像增强方法。

发明内容

本发明实施方式的目的是提供一种低照度视频图像增强方法及系统，以至少解决现有微光图像增强方法存在的噪声放大和处理效率低的问题。

为了实现上述目的，本发明第一方面提供一种低照度视频图像增强方法，应用于微光夜视技术采集的低照度视频图像增强，所述方法包括：采集低照度视频图像信息；将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；显示处理后的图像信息。

可选的，在采集低照度视频图像信息之前，所述方法还包括：基于IIC配置总线协议对设备进行初始化处理。

可选的，所述进行所述图像数据的缓存包括：基于时间戳对所述图像数据进行逐帧排序，获得对应的序列图像；基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中。

可选的，所述序列图像中，相邻两个图像分别在对应的缓存模块中并行进行图像处理。

可选的，所述基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息，包括：基于预设划分规则进行图像数据的区域划分，将所述图像数据划分为多个区域；求解每个区域的直方图，并基于按照预设期望阈值获得的适应当前场景的裁剪限幅进行各区域的灰度裁剪，使得各区域的灰度不超过所述裁剪限幅；将裁剪下来的部分均匀的分配到各灰度级上，并对重新分配后的灰度进行重新统计，获得处理后的图像信息。

本发明第二方面提供一种低照度视频图像增强系统，应用于微光夜视技术采集的低照度视频图像增强，所述系统包括：采集单元，用于采集低照度图像信息；预处理单元，用于将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；处理单元，用于读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；显示单元，用于显示处理后的图像信息。

可选的，所述采集单元为CMOS镜头。

可选的，所述预处理单元还用于：基于时间戳对所述图像数据进行逐帧排序，获得对应的序列图像；基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中；所述系统还包括：存储单元，用于缓存所述序列图像。

可选的，所述存储单元为DDR2存储器；所述序列图像基于MIPI接口存入所述DDR2存储器中。

另一方面，本发明提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的低照度视频图像增强方法。

通过上述技术方案，本发明对传统的CLAHE算法进行改进，通过有限度的调整图像局部对比度来增强有效信号和抑制噪声信号，以达到图像处理的效果。本发明方案能够实现对实时采集的视频信息进行对应的图像增强处理，保证用户使用体验度。

本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：

图1是本发明一种实施方式提供的低照度视频图像增强方法的步骤流程图；

图2是本发明一种实施方式提供的低照度视频图像增强系统的系统结构图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

随着科技不断进步，微光夜视技术的运用领域也被不断扩展，无论是在军事还是民用领域都能看到它的身影。微光夜视技术又称像增强技术，是通过带像增强管的夜视镜，微光夜视仪是利用夜间目标反射的低亮度的夜天光星月光大气辉光等自然光，将其增强放大到几十万倍，从而达到适于肉眼夜间进行侦察、微光技术是光电高新技术中的重要组成部分。在微光夜视产品中，图像增强器是核心器件，利用图像增强器将夜空中微弱的自然光，如月光、星光、大气灰光增强几百倍、几万倍达到使人眼能够进行远距离观察的程度。黄绿光是人眼最敏感的波长，因此，这种颜色的荧光屏常常被应用到增像器上。

虽然微光夜视技术为军事及民用领域均带来了显著的夜视优势，但其依旧存在微光视频图像的噪声大、对比度和信噪比较低并且灰度级范围集中的问题，所以图像质量无论是在显示效果上还是在实际应用过程中对于目标的识别都有较大的影响。想要清晰的实现微光夜视技术的利用，就不得不对微光视频的图像进行增强，使得其能够满足用户需求。

传统的视频图像增强方法基本上可分成两大类：一种是基于频域的处理方法，另一种是基于空间域的处理方法。其中直方图均衡法是最为成熟的空间域处理手段之一。但是运用传统的直方图均衡法处理微光视频图像，会产生过度曝光和放大噪声的现象，不利于获取图像更深层次的细节信息。传统的图像处理方法大多基于DSP、MCU以及FPGA。基于DSP和MCU的处理方法是通过串行的方式，如果需要处理并行的数据，则需要通过数据中断的操作进行，这大大影响图片的处理效率。

基于现有微光图像增强方法存在的噪声放大和处理效率低的问题，本发明方案提出了一种新的低照度视频图像增强方法，本发明分方案提出的低照度视频图像增强方法避免采用DSP和MCU的串行处理方式，而是提出了基于FPGA的改进对比度有限的自适应直方图均衡算法。本发明方案的原理是通过有限度的调整图像局部对比度来增强有效信号和抑制噪声信号，以达到图像处理的效果。且基于FPGA的并行性特点，算法的处理时间也大大缩减，实时性较好。从而解决了现有方法存在的噪声放大和处理效率低的问题。

图1是本发明一种实施方式提供的低照度视频图像增强方法的方法流程图。如图1所示，本发明实施方式提供一种低照度视频图像增强方法，所述方法包括：

步骤S10：采集低照度视频图像信息。

具体的，在实际应用场景中，后端的图像增强方法是服务于前段的微光视频图像采集的，需要将采集的微光视频处理为对应的图像信息，然后针对每一个图像信息进行对应的增强操作。所以，首先需要采集对应的微观视频图像，并将其处理为对应的图像信息进行缓存，以便于后续进行对应的图像增强操作。

CMOS镜头利用的CMOS传感器是一种通常比CCD传感器低10倍感光度的传感器，因为人眼能看到1Lux照度(满月的夜晚)以下的目标，而CMOS传感器通常能看到比人眼略好在0.1～3Lux。所以其常被用作微光夜视技术中的视频采集设备。

因为本发明方案需要将采集的视频图像传输到后端进行处理，且系统基于FPGA构建，所以需要建立FPGA与CMOS镜头之间的通信连接关系。一方面为了保证数据的有效传输，另一方面也为了保证FPGA与其他设备的控制连接，优选的，本发明方案通过IIC(Inter-Integrated Circuit)其总线协议建立FPGA与CMOS镜头之间的通信连接关系。IIC实是IICBus简称，其中文名称为集成电路总线，它是一种串行通信总线。IIC总线上可以挂很多设备：多个主设备，多个从设备(外围设备)。其可以实现FPGA与CMOS镜头及其他设备的通信连接。且IIC总线只需要一根数据线和一根时钟线两根线，总线接口已经集成在芯片内部，优化主板空间和成本，从而使得其在特殊应用场景下具有更强的适用性。例如，微光夜视技术常配合眼镜或帽子等穿戴物品进行设置，这就使得设备需要很强的集成性能，尽量减少对用户造成的负担，IIC总线能够在满足适用条件下极大的改善这样的问题。

在执行方法前，需要对设备进行初始化，以保证系统工作参数正常，则FPGA通过设置的IIC总线对CMOS镜头及后续其他设备进行初始化处理，使得系统进入待工作状态，后续进行图像采集及处理均是在正常参数的条件下执行，保证图像增强的有效性和呈现效果。

CMOS镜头实时采集微光场景下的视频信息，并将采集到的视频信息模拟信号通过IIC总线回传到FPGA中，用于执行后续的图像数据提取和增强处理。

步骤S20：将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据缓存。

具体的，CMOS镜头回传的信号为模拟信号，需要将其处理为对应的数字信号，以便于进行数据缓存和处理。基于此，本发明方案设置对应的解码芯片，用于将采集的微光视频模拟信号解调为对应的数字信号。优选的，本发明方案将模拟信号处理为TTL电平信号，TTL电平信号被利用的最多是因为通常数据表示采用二进制规定，TTL电平信号对于计算机处理器控制的设备内部的数据传输是很理想的，首先计算机处理器控制的设备内部的数据传输对于电源的要求不高以及热损耗也较低，另外TTL电平信号直接与集成电路连接而不需要价格昂贵的线路驱动器以及接收器电路；再者，计算机处理器控制的设备内部的数据传输是在高速下进行的，而TTL接口的操作恰能满足这个要求。基于TTL电平信号的诸多优势，便于其进行对应的视频流信号传输。

获得对应的TTL电平信号后，将这些解调出来的电平信号作为后续需要处理的图像数据。在进行图像处理前，需要对图像数据进行缓存，以便于后续进行缓存数据读取以及处理。因为视频图像是连续的，但是进行处理的图像数据确是一个个单独的图像，所以想要保证视频流畅性，就不得不保证图像处理的及时性。若每一帧图像显示均需要实时进行增强后显示，在算力足够的前提下才可能保证延迟忽略不计，但是在应用场景硬件设备算力有限的情况下，想要保证这种响应及时性是很难的。基于此，本发明方案才提出了基于FPGA进行并行处理的方案，即并行处理相邻帧的图像信息，在显示当前图像的同时，需要保证下一帧图像也能处理完毕。

为了实现上述处理需求，在利用的FPGA并行处理能力之外，还需要对缓存方案进行优化，为了避免出现数据读取冲突，理想的并行处理方案为同时处理的图像数据存储在不同的位置，基于此，本发明方案提出的存储方案包括两个存储单元，这两个存储单元各存储有一半的视频图像缓存数据。因为并行处理的图像信息为相邻帧的图像信息，基于此，对所述图像数据基于时间戳进行逐帧排序，获得对应的序列图像；基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中。即一帧图像存储在存储单元1中时，相邻的下一帧图像自动存储到存储单元2中，再下一帧图像存储到存储单元1中，以此规律进行数据存储，保证两个存储单元存储的数据体量相同的同时，还能保证每次并行处理的图像数据均来自与不同的存储单元。

步骤S30：读取缓存的图像数据，基于改进的CLAHE算法进行所述图像数据处理，获得处理后图像信息。

具体的，完成数据缓存后，需要对应进行数据读取和后续的增强处理。进行图像处理时，同样在两个存储单元中进行逐一读取已经并行处理，两个并行处理图像数据的处理过程相同。

统一场景下，存在多样的识别对象，为了保证针对不同的区域进行不同的增强操作，需要将图像区分为多个区域。在一种可能的实施方式中，基于预设的划分规则，按照预设切割线进行图像区域划分，是的图像区域划分为多个尺寸相同的区域，该划分方法不受图像内容影响。为了保证有更好的图像增强效果，理论上越小的划分粒度，精度越好，对应的效果也就越好。但是，无限小的粒度划分又势必会造成算力负担增大的问题。基于此，在保证算力满足需求的前提下，尽量下的粒度划分，可以保证最佳的图像增强效果的同时能够满足实际处理需求。

在另一种可能的实施方式种，基于图像具体内容进行区域划分，首先对图像进行二值化处理，获得灰度图像，然后基于不同的灰度值进行区域划分。这种方式的优势在于能够基于不同的图像场景进行不同的图像区域划分，当场景内容单一时，起划分粒度可以足够大，以此节约算力，保证能够快速完成图像增强处理。而对于场景复杂的图像来说，因为不用的物体其对应的图像增强过程可能存在区别，基于场景进行区域划分，可以尽量使得各完整物体处在单独的区域内，以此进行差异化的图像增强，进一步提高图像增强效果。

完成图像区域划分后，通过传统的CLAHE算法求解各区域的直方图。直方图是统计学中广泛使用的一类图表，它以可视化的形式呈现统计数据，能够显示有多少数据点落在给定的数值区间内。例如在分析图像数据的统计特性时，有时可以抛弃图像的色度分量，只考察图像的亮度分量，此时可以引入图像的亮度直方图。再比如当需要分析图像的颜色特性时，可以引入通道直方图。还有就是常用的灰度直方图。直方图可以完整的表示图像的区域分布特征，本发明方案正是基于改直方图进行对应的图像增强。

获得直方图后，基于期望阈值获得各区域对应的裁剪限幅，利用了直方图均衡化，直方图均衡化被认为是提升图像对比度最为有效的方法，它的基本思想是用数学方法重新调整像素的亮度分布，使调整后的直方图具有最大的动态范围，每个bin/bucket盛纳的像素数量几乎相等。然后基于改裁剪限幅进行各区域灰度裁剪，将灰度值大于该裁剪限幅的像素点的灰度限定到该裁剪限幅位置处。然后将裁剪下来的灰度均匀的分配到各灰度级上，便完成了灰度重新分配。最后对图像灰度进行重新统计，计算直方图的累积分布函数，完成图像增强处理。

步骤S40：显示处理后的图像信息。

具体的，完成图像增强处理后，将改图像数据通过数据输出接口传输到显示器端完成显示。进行图像显示时，还是基于图像序列进行逐帧显示，保证在显示当前画面的同时，后续画面已经准备完成，以此保证连续的视频图像均能被图像增强，且不会影响视频连续性。

图2是本发明一种实施方式提供的低照度视频图像增强系统的系统结构图。如图2所示，本发明实施方式提供一种低照度视频图像增强系统，所述系统包括：采集单元，用于采集低照度图像信息；预处理单元，用于将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；处理单元，用于读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；显示单元，用于显示处理后的图像信息。

可选的，所述采集单元为CMOS镜头。

可选的，所述预处理单元还用于：基于时间戳对所述图像数据进行逐帧排序，获得对应的序列图像；基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中；所述系统还包括：存储单元，用于缓存所述序列图像。

可选的，所述存储单元为DDR2存储器；所述序列图像基于MIPI接口存入所述DDR2存储器中。

本发明实施方式还提供一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行上述的低照度视频图像增强方法。

本发明方案能够有效地用于微光视频图像的增强，可以有效地抑制传统直方图均衡法造成的过度曝光以及放大噪声的问题。基于FPGA的强大运算处理能力以及并行的处理方式，大大提升了图像处理效率。使得图像处理的实效性得到了极大的保证。该方法的成本以及功耗较低，能够应用于不同的图像处理场景。因此本专利有较广阔的应用场景以及现实意义。

本领域技术人员可以理解实现上述实施方式的方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (10)

1.一种低照度视频图像增强方法，应用于微光夜视技术采集的低照度视频图像增强，其特征在于，所述方法包括：

采集低照度视频图像信息；

将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；

读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；

显示处理后的图像信息。

2.根据权利要求1所述的方法，其特征在于，在采集低照度视频图像信息之前，所述方法还包括：

基于IIC配置总线协议对设备进行初始化处理。

3.根据权利要求1所述的方法，其特征在于，所述进行所述图像数据的缓存包括：

基于时间戳对所述图像数据进行逐帧排序，获得对应的序列图像；

基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中。

4.根据权利要求3所述的方法，其特征在于，所述序列图像中，相邻两个图像分别在对应的缓存模块中并行进行图像处理。

5.根据权利要求1所述的方法，其特征在于，所述基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息，包括：

基于预设划分规则进行图像数据的区域划分，将所述图像数据划分为多个区域；

求解每个区域的直方图，并基于按照预设期望阈值获得的适应当前场景的裁剪限幅进行各区域的灰度裁剪，使得各区域的灰度不超过所述裁剪限幅；

将裁剪下来的部分均匀的分配到各灰度级上，并对重新分配后的灰度进行重新统计，获得处理后的图像信息。

6.一种低照度视频图像增强系统，应用于微光夜视技术采集的低照度视频图像增强，其特征在于，所述系统包括：

采集单元，用于采集低照度图像信息；

预处理单元，用于将所述视频图像信息解调为TTL电平信号，获得对应的图像数据，并进行所述图像数据的缓存；

处理单元，用于读取缓存的图像数据，基于改进的CLAHE算法进行图像数据处理，获得处理后的图像信息；

显示单元，用于显示处理后的图像信息。

7.根据权利要求6所述的系统，其特征在于，所述采集单元为CMOS镜头。

8.根据权利要求6所述的系统，其特征在于，所述预处理单元还用于：

基于时间戳对所述图像数据进行逐帧排序，获得对应的序列图像；

基于乒乓操作规则，将所述序列图像分别存储到两个预设缓存模块中；

所述系统还包括：

存储单元，用于缓存所述序列图像。

9.根据权利要求8所述的系统，其特征在于，所述存储单元为DDR2存储器；

所述序列图像基于MIPI接口存入所述DDR2存储器中。

10.一种计算机可读储存介质，该计算机可读存储介质上储存有指令，其在计算机上运行时使得计算机执行权利要求1-5中任一项所述的低照度视频图像增强方法。

Images