CN102063704A

CN102063704A - 一种机载视景增强方法及其装置

Info

Publication number: CN102063704A
Application number: CN 201010550846
Authority: CN
Inventors: 王科; 马丽; 杨爱良; 詹于杭
Original assignee: China Aeronautical Radio Electronics Research Institute
Current assignee: China Aeronautical Radio Electronics Research Institute
Priority date: 2010-11-19
Filing date: 2010-11-19
Publication date: 2011-05-18
Anticipated expiration: 2030-11-19
Also published as: CN102063704B

Abstract

本发明公开了一种机载视景增强方法及其装置，其中方法包括步骤：对输入的数字图像进行直方图统计分析产生自适应的阈值，并根据直方图的特征划分成不同扇区产生不同的融合权值系数；按照不同图像的特点进行形态学滤波与边缘检测计算；对计算结果按照视频叠加融合算法进行视景增强处理。其装置包括：阈值生成模块、形态学计算模块、边缘检测模块以及叠加融合模块。与传统的视景增强方法相比，本发明能够针对机载视景的不同特征，自适应的进行叠加融合计算，适合硬件实现，能有效的对机载视景做实时增强处理，取得更好的视觉效果。

Description

一种机载视景增强方法及其装置

技术领域

本发明涉及视景实时处理技术，具体涉及视景增强技术。

背景技术

能见度低是既影响飞行安全性，又影响全世界航空运营能力的关键因素。视景增强系统通过增强实际景象的重要部分来改善飞行员对态势和空间的感知能力，从而减少诸如可控飞行撞地（CFIT）、失控（LOC）、跑道侵入（RI）等类型的事故。随着航空电子系统对视频处理带宽的需求日益增大，需要进行融合计算的图像源也向多种类传感器（如雷达、红外、机载摄像等）发展，由于成像原理不同，任何一种单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性，而视景增强技术要将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，能更全面的反映目标特性。传统的基于软件的视景增强算法在处理速度方面的瓶颈也逐步凸显出来，研究可以硬件实现的视景实时处理方法与装置成为研制工程的重要组成部分。

现有技术中，视景增强技术没有统一成一种算法，而是由于各种不同的目的产生了多种算法，这些算法可以根据处理空间的不同划分为基于空间域的方法与基于转换域的方法。

公开号为CN101655974A，公开日为2010年2月24日（申请号：200910192415.2）的专利文件公开了一种改进的基于局部直方图均衡化方法的图像增强方法，该方法通过对子块采用分频调整的直方图均衡化方法进行增强处理，提高图像的对比度，强化了图像的细节。

公开号为CN101101669A，公开日为2008年1月9日（申请号：200710058019.1）的专利文件公开了一种根据边缘和亮度特征进行自适应调整的图像增强方法，该方法通过对输入的图像进行离散拉普拉斯变换，然后进行直方图分析，并根据分析结果进行分类，最后进行直方图均匀化并送至输出设备。

发明人在实现本发明的过程中发现，现有技术中存在以下缺陷：未根据机载视频图像的特征进行算法的选择，导致机载图像边缘提取不清晰；没有综合考虑不同图像传感器的数据特征来进行自适应的视频叠加融合处理。因此需要一种机载视景实时增强处理方法以及相应的装置，以达到更好的视觉效果，是本领域亟需解决的问题。

发明内容

针对现有技术的局限，如未根据机载视频图像的特征进行算法的选择与优化，没有综合考虑不同图像传感器的数据特征来进行自适应的视频叠加融合处理，本发明的目的在于提供一种机载视景增强方法，该方法通过自适应的视景增强实时处理算法来改善视觉效果，提高飞行员对态势和空间的感知能力，以减少在能见度低的情况下飞行事故的发生。

同时，本发明的另一目的在于提供实现方法的装置。

为了达到上述目的，本发明采用如下的技术方案：

一种机载视景增强方法，该方法包括如下步骤：

（a）彩色图像转换为灰度图像；

（b）根据直方图统计进行自适应阈值生成；

（c）根据直方图统计进行视频叠加融合的权值生成；

（d）将输入图像进行形态学滤波；

（e）依据阈值进行图像二值化；

（f）将输入图像进行边缘检测计算；

（g）根据步骤（c）、（e）、（f）的结果进行视频叠加融合。

所述步骤（a）采用如下步骤进行转换：

Grey = 0.3R + 0.59G + 0.11B

其中Grey为转换后的图像灰度值，R、G、B分别为原彩色图像的红色、绿色和蓝色分量。

所述步骤（b）使用自适应阈值生成算法，包括以下步骤：

（1）将输入图像的灰度直方图等分为16个扇区，每个扇区包含的灰度值为16，并从0依次增加到255；

（2）进行直方图统计，得出最大值、次大值、第三大值及其对应的扇区；

（3）判断最大值与次大值对应的扇区是否相邻区域，若不是，则取最大值与次大值所在扇区的平均值的中值作为阈值；若是相邻区域，则取最大值与第三大值所在扇区的平均值的中值作为阈值。

所述步骤（c）中的权值取值如下表所示：

扇区号	1-2区	3-4区	5-6区	7-8区	9-10区	11-12区	13-14区	15-16区
									权值	0.125	0.25	0.375	0.5	0.625	0.75	0.875	1

所述步骤（d）使用形态学算子为：

Image_Enhanced = Image_original + TopHat - BotHat

其中Image_Enhanced为增强后图像，Image_original为原始图像，TopHat为高帽变换结果，BotHat为低帽变换结果，定义为：

其中A表示图像，B表示结构元素，

表示形态学开运算，

表示形态学闭运算。

所述步骤（f）使用的边缘检测计算方法为：sobel算子结合非极大值抑制处理方法，所述sobel算子为：

。

所述步骤（g）使用的叠加融合公式为：

其中IN0为边缘检测计算结果，IN1为二值化计算结果，

为相应扇区的权值。

一种机载视景增强处理装置，包括阈值生成模块、形态学计算模块、边缘检测模块、叠加融合模块。

所述阈值生成模块，根据输入图像的直方图统计，实时计算出本帧图像的阈值，作为二值化的依据；

所述形态学计算模块，根据输入的像素数据进行形态学计算，利用高帽变换结合低帽变换进行图像增强；

所述边缘检测模块，根据输入的像素数据进行边缘检测计算，利用Sobel算子提取边缘，并利用非极大值抑制处理算法使边缘更清晰；

所述叠加融合模块，根据所述阈值生成模块、形态学计算模块以及边缘检测模块的结果进行视频叠加融合，使用不同的权值计算分类不同特征的图像，最终进行视景增强输出。

根据上述技术方案形成的视景增强方法与传统的视景增强方法相比，本发明能够针对机载视景的不同特征，自适应的进行叠加融合计算，适合硬件实现，能有效的对机载视景做实时增强处理，取得更好的视觉效果。

该方法对多种机载视频具有良好的适应性，易于硬件实现，可以嵌入芯片中。本发明通过自适应的视景增强实时处理算法来改善视觉效果，提高飞行员对态势和空间的感知能力，以减少在能见度低的情况下飞行事故的发生。

本发明提供的视景增强处理装置可通过FPGA进行方便的设计，使用流水线计算，实时进行机载视景增强处理。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1为本发明实施例中机载视景增强方法的示例性流程示意图。

图2为本发明实施例中机载视景增强方法的边缘检测模板运算示意图。

图3为本发明实施例中机载视景增强处理装置的系统结构图。

图4为本发明实施例中机载视景增强处理装置的FPGA电路架构图。

图5为本发明实施例中机载视景增强方法中的边缘检测计算结果的效果图。

图6为本发明实施例中机载视景增强方法中的形态学计算结果的效果图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，本实施例中的机载视景增强方法包括如下步骤：

S101，对输入的数字图像进行灰度变换。

该步骤中将彩色图像转换为灰度图像使用公式为：

Grey = 0.3R + 0.59G + 0.11B，

由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，因此使用该公式得到最合理的灰度图像。

S102，进行直方图统计与扇区划分。

将输入图像的灰度直方图等分为16个扇区，每个扇区包含的灰度值为16，并从0依次增加到255；如灰度值位于0~15之间为第一扇区，灰度值位于16~31之间为第二扇区…灰度值位于240~255之间为第十六扇区。

S103，统计最大值、次大值、第三大值及其对应的扇区。

S104，进行是否相邻扇区的判断。

S105，若是相邻扇区则取最大值与第三大值的中值作为阈值。

S106，若不是相邻扇区则取最大值与次大值的中值作为阈值。

由于图像直方图反映了不同灰度值的像素的面积(连续图像)或像素个数(离散图像)在帧中的比例，表达了图像的某些信息。反映了该图像中不同灰度值出现的次数，它的典型应用是用来选取图像二值化的阈值。当图像的直方图呈现为近似对称的双峰形状时，选取两峰之间的谷点作为阈值进行二值化的效果最好。

例如，在求取双峰时，最大值与次大值所在扇区灰度分别为242和238，且处在相邻扇区，那么会误把240当做阈值，所以本发明方法把将输入图像的灰度直方图等分为16个扇区，进行直方图统计，得出最大值、次大值、第三大值及其对应的扇区；判断最大值与次大值对应的扇区是否相邻区域，若不是，则取最大值与次大值所在扇区的平均值的中值作为阈值；若是相邻区域，则取最大值与第三大值所在扇区的平均值的中值作为阈值。

S107，将灰度图像进行形态学滤波处理。

将输入图像进行形态学滤波是基于信号(图像)的几何结构特性，利用预先定义的结构元素对信号进行匹配或局部修正，以达到提取信号，抑制噪声的目的。假设用A表示图像，B表示结构元素，

表示膨胀运算，

表示腐蚀运算。

膨胀运算定义如下：

腐蚀运算定义如下：

先腐蚀再膨胀称之为开运算：

闭运算定义如下：

由于高帽变换体现原始图像中的灰度峰值，低帽变换体现原始图像中的灰度谷值，因此采用如下运算得到增强后的图像，将原始图像与高帽变换结果相加后再与低帽变换结果相减，即：

Image_Enhanced = Image_original + TopHat - BotHat

其中A表示图像，B表示结构元素，

表示形态学开运算，

表示形态学闭运算。

S108，根据阈值进行图像二值化。

该步骤使用公式如下：

其中f(x，y)为原始图像，g(x，y)为经过二值化后的图像为，T为阈值。

S109，同时将灰度图像用Sobel算子处理。

在二维图像处理中，常见的算子模板有：Roberts算子模板、Sobel算子模板、Prewitt边缘算子模板、拉普拉斯算子模板等。其运算过程都是以模板作为一个窗口，按扫描顺序移动这个窗口，让模板中心依次遍历图像上的所有像素。模板算法具有处理简单的特点，但运算量较大。如一个3×3模板，完成一个像素的模板操作需9次乘法、8次加法。对于N×N的图像，需要9(N-2)²次乘法和8(N-2)²次加法，算法复杂度为O(N²)。对于高清图像，如果仍然用软件来计算，已经不能满足实时处理的要求。

在本发明实施例中，考虑到计算的实时性，采用Sobel算子，进行水平方向与垂直方向的边缘提取，利用FPGA内部丰富的乘加资源，流水线计算出卷积的结果。

在本发明的实施例中，sobel算子为：

基于上述原理，本实施例中的边缘检测模板运算如图2所示，

模板运算结果P使用如下公式计算得出：

。

其中W_i为模板元素值，P_i为输入图像像素值。Sobel算子很容易在空间上实现，Sobel边缘检测器不但产生较好的边缘检测效果，同时，因为Sobel算子引入了局部平均，使其受噪声的影响也比较小。当使用大的邻域时，抗噪声特性会更好，但是这样做会增加计算量，并且得到的边缘也较粗。Sobel算子利用像素点上下、左右相邻点的灰度加权算法，根据在边缘点处达到极值这一现象进行边缘检测。因此Sobel算子对噪声具有平滑作用，提供较为精确的边缘方向信息。但是，正由于局部平均的影响，它同时也会检测出许多伪边缘，且边缘定位精度不够高。所以，在后端利用非极大值抑制处理算法使边缘更清晰。

S110，进行非极大值抑制处理。

S111，根据对应扇区输出不同的权值；

本实施例中权值取值如下表所示：

S112，根据不同的权值进行视频叠加融合输出，完成视景增强处理。

该步骤主要根据前级生成的权值与图像结果进行融合计算，使用公式为：

其中IN0为边缘检测计算结果，IN1为二值化计算结果，

为相应扇区的权值。

参见图3，本发明提供的机载视景增强处理装置主要包括视屏输入接口301、用于实现视景增强的视景增强模块302、视频输出接口309以及多种显示终端310。

其中视景增强模块302内部包括图像采集与时序控制模块303、帧存管理模块304、阈值生成模块305、形态学计算模块306、边缘检测模块307、叠加融合模块308。

基于上述方案形成视景增强处理装置运行过程如下：

不同制式的视频源如（DVI、VGA、PAL、NTSC）以及非标视频源通过视频输入接口301给视景增强模块302提供输入信号，视频输入接口301将不同制式接口的信号转换成数字RGB信号送入视景增强模块302中进行视景增强处理。

视景增强模块302内的图像采集与时序控制模块303进行RGB颜色分量，行、场同步，数据有效等信号的数据采集，并存到内部缓存中；帧存管理模块304进行外部帧存储器与视景增强模块302内部数据的交换与调度；阈值生成模块305根据直方图统计，反馈到寄存器中，通过计数器累加，比较得出最值与扇区，产生对应的阈值；形态学计算模块306与边缘检测模块307利用卷积模板，流水线进行乘、加运算，通过滑动窗口的不断移动完成整帧图像数据的运算；叠加融合模块308实时的采样前级计算结果，配合时序控制单元产生最终的像素数据与同步信号。

视景增强模块302完成计算后将图像RGB数据输出给视频输出接口309，最后输出到多种显示终端310。

在本发明实施例中，所使用装置的硬件较佳地可以是可编程逻辑器件，如FPGA等。

参见图4，其为本发明实施例中机载视景增强处理装置的FPGA内部电路架构图，基于该图，本实施例的FPGA具体实现过程如下：

例如输入分辨率为1024×768的图像，时序控制模块401从灰度转换模块402的输出端Grey读取两行图像数据(每行为1024×8bit)并保存在FIFO存储器403中，构成3×3的模板。

同时对灰度图像进行直方图统计404，锁存并累加统计结果405，进行自适应阈值的计算406。

利用图像像素点时钟不断读入新的像素数据进行模板运算407，得到的就是对第二行1024个数据进行模板运算的结果。

最终根据阈值进行二值图像408输出。

每读入一个新像素值时，移位寄存器组中的数据也向右移动一个像素位置，相当于窗口在时钟控制下沿图像数据的行方向逐像素滑动。当处理完第二行1024个像素后，第一行的数据被丢弃，第二行的数据流入FIFO成为第一行的数据，第三行的数据成为第二行的数据，再读入第四行的数据组成3×3窗的第三行的数据，接着再进行运算后得到的是对第三行的数据进行模板运算后的结果。

对于模板的卷积运算，充分利用流水线技术，并行进行矩阵乘加运算，可以在短暂延时后得到模板运算结果。

阈值生成模块并行接收输入的像素数据，利用直方图分析出整个帧图像的灰度均值以及最常出现的灰度值，利用自适应阈值生成算法得出该帧图像阈值作为图像二值化的依据，自适应阈值计算方法能够根据每帧图像的变化来调节参数，尤其适合机载视频序列图像变化剧烈的特征。

本发明的具体实施效果如图5和图6所示，其中图5为本发明机载视景增强方法中的边缘检测计算结果的效果图，图6为本发明机载视景增强方法中的形态学计算结果的效果图。从图上可以看到本发明可以清晰的提取飞行跑道的边缘信息，有效的增强视景效果。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定

。