CN105469374A - 一种高速大容量红外图像数据实时显示方法 - Google Patents

Abstract

本发明涉及一种高速大容量红外图像数据实时显示方法；将采集到的图像数据送入系统后按设定的主序进行整理并存储在内存中，然后，对储存在内存中的图像数据进行数据格式和图像显示变换操作。在所述系统中显示区域的周围开辟了不少于一块设定大小的内存缓冲区，即高速缓冲区，该高速缓冲区读取将经过上述处理后得到的图像数据，然后，再将该高速缓冲区中的图像数据拷贝到显示缓冲区中，实现图像的高速绘制。本发明实现大容量图像快速并清晰的显示、大大提高了大容量图像漫游的速度。

Description

一种高速大容量红外图像数据实时显示方法

技术领域

本发明涉及一种高速大容量红外图像数据实时显示方法，属于数字图像成像的技术领域。

背景技术

高分辨率红外搜索跟踪系统(IRST)在对大范围空域进行搜索跟踪时，为了在尽可能短时间捕获到目标，且保证红外目标图像成像清晰，因此，通常都采用基于TDI(时间延迟积分)扫描的高分辨率红外线列探测器。但是，采用这种红外线列探测器在对大范围空域进行扫描成像时，红外图像成像不是标准制式(例如：PAL、NTSC等)的图像，而是非标准制式。如通过扫描所成一幅图像，高度为480像素，宽度最大不超过70，000像素。对于这样的非标准图像，是无法直接用监视器进行显示的，需要进行数据采集并经过数据处理后才可实时显示。要显示这种非标准图像通常是采用高速图像采集卡+高性能工业计算机+实时显示处理软件的实时显示处理装置，高速图像采集卡和高性能工业计算机主要是实现大容量高速数据的采集，只要硬件配置足够高，一般都比较容易实现。但是，要保证高速大容量红外数据的实时清晰显示，不出现卡滞、丢帧等现象，实时显示处理方法对大容量图像显示中尤为重要的关键技术。

发明内容

本发明的目的在于克服现有技术的不足，提出了一种高速大容量红外图像数据实时显示方法,解决了图像显示装置在基于大容量图像数据实时显示图像时，显示的图像出现卡滞、丢帧的问题。

本发明是通过如下方案予以实现的：

一种高速大容量红外图像数据实时显示方法，其特征在于，步骤如下：

步骤1，将采集到的图像数据送入系统后按设定的主序进行整理并存储在内存中，然后，对储存在内存中的图像数据进行数据格式和图像显示变换操作；

步骤2，在所述系统中显示区域的周围开辟了不少于一块设定大小的内存缓冲区，即高速缓冲区，该高速缓冲区读取将经过步骤1处理后得到的图像数据，然后，再将该高速缓冲区中的图像数据拷贝到显示缓冲区中，从显示缓冲区中读取图像数据，实现图像的高速显示。

进一步的，步骤1中所述的设定的主序为按照行主序对图像数据进行整理。

进一步的，所述的步骤1中对存储在内存中的图像数据还需要建立动态金字塔数据结构。

进一步的，步骤1中所述的对储存在内存中的图像数据进行数据格式的变换操作是指，通过双平台直方图算法对该图像数据进行增强。

进一步的，步骤1中所述的对储存在内存中的图像数据进行图像显示的变换操作是指，采用伪彩色增强的方式使该图像数据最终以彩色模式显示，或者以灰色模式显示。

进一步的，所述步骤2中的图像的高速绘制采用多线程运行模式。

进一步的，步骤2中所述的多线程运行模式分为主线程和工作线程，所述的多线程运行模式是指系统中涉及用户操作和界面响应，所述的工作线程是指系统中各种耗时操作包括：数据的读取、高速缓存数据准备、常用图像处理，显示变换处理。

进一步的，步骤2中所述的显示缓冲区为双显示缓冲区，在其中一个显示缓冲区显示图像数据时，在另一显示缓冲区绘制图像，绘制完毕后切换到另一显示缓冲区，并在切换出的显示缓冲区中继续绘制下一帧图像。

本发明和现有技术相比的有益效果是：

本发明提出了一种高速大容量红外图像数据实时显示方法，实时采集的数据进行显示变换或直接线性拉伸，并根据需要选择性进行伪彩色增强。然后，构造多分辨率金字塔数据结构，按照特定分辨率格式将待显示的数据进行重新组织，并建立起快速索引结构。利用高速缓存技术和多线制运行模式，通过对显示区域的周边的若干块作为高速缓存区，则在图像漫游过程中，系统就不必每次都重新从中间图像文件获取显示部分的图像，而只需计算应拷贝的缓冲区的位置，再作一次图像拷贝即可。本发明实现大容量图像快速并清晰的显示、大大提高了大容量图像漫游的速度。

本发明还在系统中建立了屏幕显示双缓冲区，在显示数据的同时，向另一块缓冲区内绘制图像。绘制完毕切换缓冲区显示，并在切换出的缓冲区中继续绘制下一帧，进而提高了用户界面操作的流畅性。

附图说明

图1是本发明实施例的高速大容量红外图像数据实时显示方法的流程框图；

图2是本发明实施例的实施显示软件界面；

图3是本发明实施例的实施下你是软件底层模块派生关系图；

图4是本发明实施例的CVPView绘制流程图；

图5是本发明实施例的C2DView绘制流程图；

图6是本发明实施例中显示变换的图像；

(a)为经过线性拉伸的图像；

(b)为经过显示变化后得到的图像；

图7是本发明实施例的伪彩色增强图；

图8是本发明实施例的影像金字塔结构图；

图9是本发明实施例中的分块数据与高速缓存图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细的说明。

一种高速大容量红外图像数据实时显示方法，本实施例中以480×6红外线列探测器的IRST为例进行说明。本发明方法主要分为两个步骤为：(1)分别对采集到的图像数据进行处理；(2)图像数据的传输。具体如下：

步骤(1)、将采集到的图像数据送入系统后按设定的主序进行整理并存储在内存中，然后，对储存在内存中的图像数据进行数据格式和图像显示变换操作，对于步骤(1)具体的实施方式如下：

1)所述的将采集到的图像数据送入系统后按设定的主序进行整理具体为：采集的红外数据进入系统时是按照列的方向进行扫描，进入软件系统后，将按列方向扫描的红外数据重新整理为按行主序组织的图像数据。磁盘文件也按照列主序存储。磁盘文件格式为自定义格式，保证数据存放的快速性以及读取的便利性。

2)中所述对采集整理后的数据存储在内存中后，将数据建立成为动态金字塔数据结构，为不同显示分辨率、不同显示区域的红外数据快速读取提供数据操作引擎接口。

如图8所示，金字塔数据结构时从原始影像数据开始，根据各幅影像数据反映不同尺度下的详尽程度，建立起了一系列影像。通常原始影像数据反映最详细、最真实的影像，由它逐步生成其他低分辨率的影像，以反映原始影像在各尺度下的概貌。这样，在浏览影像数据时，就可以根据当前用户所需的分辨率，提取相应尺度金字塔层的数据。从而实现影像数据的快速浏览。

3)数据格式变换：由于采集得到的红外数据采用的为14位格式，在图像显示装置中并不能直接显示，并且数据的格式也非常稀疏。因此，需要对存储后的数据进行数据格式变换操作，使其变换成为适宜人眼观看的数据格式。本实施例中采用一种图像增强算法对图像数据进行显示变换，即通过双平台直方图对图像数据的直方图进行均衡处理。通过选择两个合适的平台阈值T1和T2(其中T1>T2)，分别作为上限平台和下限平台，对统计直方图进行修改。如果某一灰度级的直方图值大于上限平台阈值T1，将其直方图值改为T1，可以实现对占有较多像素的背景和噪声进行适度抑制；如果某一灰度级直方图值小于下限平台阈值T2，将其直方图值改为T2，可以实现对图像中占有较少像素的目标细节进行适度放大；对于灰度级直方图值介于T1和T2之间的灰度级的直方图值保持不变。即双平台直方图的表达式如下：

$H\left(r_k\right)=\left\{\begin{array}{cc}T1& \left(h\right(r_k)\&GreaterEqual;T1)\\ h\left(r_k\right)& (T2<h(r_k)<T1)\\ T2& \left(h\right(r_k)\&le;T2)\end{array}\right.$

其中，k＝0,1,…,L-1，表示灰度级。

4)图像显示方式变换：根据用户需要对图像数据进行伪彩色增强，系统的软件界面用户提供了色彩切换功能。若打开，则将数据转换为彩色数据显示，该显示的图像按照热-红，冷-黑的原则映射为彩色图像，方便用户直观了解整个扫描区数值大小分布情况，如图7所示为经过伪彩色增强后的图像显示效果；若关闭，图像按照灰度模式显示，灰度的亮暗反映了红外信号强度数据分布情况。

步骤(2)，将经过步骤1处理后得到的数据绘制在显存中，所述系统中的显存与显示器实时互联，通过高缓存技术配合多线程运行模式，在系统中显示区域的周围设置不少于一个分块作为显示缓存区，从而实现图像的快速显示。

(1)高速缓存技术

对于进行大量图像显示过程中，由于大部分数据都是存入在大容量存储介质硬盘中，通过分块技术减少了图像显示时的定位和读取的次数，在一定程度上克服了图像显示漫游过程中的速度过慢问题，但如果每次的漫游缩放操作均需从硬盘读取，则还是会影响图像显示漫游的响应速度。

为了进一步提高图像漫游的速度，有必要采用Cache技术，在分块图像文件和显示缓存中间，再开辟一块适当大小的内存缓冲即高速缓存，在该缓冲区中存储从中间图像文件读取的图像数据，然后再将此缓存中显示的相应部分拷贝到显示缓冲区。

缓冲区的大小大于滚动视图的可见窗体尺寸，则在图像漫游过程中，系统就不必每次都重新从中间图像文件获取显示部分的图像，而只需计算应拷贝的缓冲区的位置，再作一次图像拷贝即可，从而大大提高了图像漫游的速度。

设置合适的缓冲区大小对图像的漫游速度有很重要的影响，若太小则必然造成频繁地读取图像文件，太大又受到计算机内存的限制，而且大数据量的读入也会造成速度的延迟。如图9所示，本实施例中显示区域周围最近的9个分块，这是因为图像处理中漫游功能所使用的很大一部分操作是平移漫游方式。当平移操作鼠标左键不放开时，由于漫游的范围最大也就是显示区域的9倍，因此选择适当的分块大小以及显示区域周围最近的9块作为高速缓存，恰好能够实现显示区域周围9倍大小的图像均在高速缓存当中，从而保证了平移漫游操作时图像显示速度。

(2)多线程绘制

在本实施例中，将大量图像数据快速显示与处理任务设计成多线程运行模式，将一些用户操作和界面响应放到主线程，对空间分析及影像处理相关的各种耗时操作采用工作线程。所述的耗时操作包括：各种数据的读取、高速缓存数据准备、常用图像处理，显示变换处理等。

在进行数据传输图像显示的过程中，建立屏幕显示双缓冲区，在显示数据的同时，向另一块缓冲区内绘制图像。绘制完毕切换缓冲区显示，并在切换出的缓冲区中继续绘制下一帧。数据准备及缓冲区绘制在后台完成，不影响用户的界面操作流畅性。

本实施例中图像数据在进入并存储到系统的过程中是通过系统软件中的底层软件和应用层软件相互配合实现的。底层软件的主要功能是为应用层软件提供基本素材，代码的主要逻辑结构在底层软件实现。应用层软件主要实现对底层功能的组合与重构。

1.底层软件

如图4所示，底层显示模块根据任务及采用技术不同可以分为三个：CVPView，C2DView，CGridView。为了方便高层应用程序框架使用，该三个类均从MFC的CView类直接派生。底层模块构成了整个系统所有显示相关任务。系统设计的主要原则是降低耦合度，提高模块化程度，简化应用程序开发复杂度。四个底层View提供了数据显示的平台，而数据与时间相关的动态变化情况则主要来源于金字塔数据结构。工作时应用程序框架提供一个全局同步时钟，应用层则通过时钟来解析磁盘文件中对应的图像信息，并进一步扫描线动作。也可以通过控制时钟的快慢来动态控制扫描线的运动节奏，也可以通过跳转时钟来实现类似播放器拖动效果。

CVPView：

该视图为显示任务的主要实现者，封装VP技术实现细节，支持如下功能：

a)加载海量红外图像数据；

b)从采集卡接收图像数据；

c)多线程机制；

d)高速缓存机制；

e)叠加框标显示；

f)叠加扫描线绘制；

C2DView：

该视图为操控面板、标尺等辅助信息的主要实现者，提供如下功能：

a)支持多按钮操控面板显示；

b)支持标尺实时显示；

c)支持红外测量点数据信息实时显示。

C2DView绘制流程图与CVPView类似，都是基于时间来控制。

CGridView：

CGridView封装CGridControl控件，实现文字、数字、路径等信息的录入以及文本信息的显示。CGridControl的优点是功能丰富、界面简洁美观。

2.应用层软件

应用层的展开主要是基于底层显示模块，并通过对数据及同步时间的管理达到对底层显示模块的动态控制。提供显示变换、伪彩色增强等算法接口调用功能；提供丰富的人机界面，保证了各种操作的流畅。

本实施例中对于图像实时显示装置，采用PCIE高速LVDS采集卡，每秒钟采集大量图像数据。显存与显示器实时互联，只要将数据写入显存，则显示器同步显示，该动作由显卡硬件底层实现，对上层应用透明。

实时显示软件的操作主界面：

如图2所示，整体风格参考WindowsMediaPlayer。全部采用图形化界面，人机交互丰富，操作流畅。

软件整体上按照上下多分层设计布局。最上端显示为标题栏，右侧有最小化及关闭图形按钮。由于系统显示探测器采集的红外数据对分辨率依赖性比较强，所以对话框尺寸将设置为固定大小。

中间主显示区域分为上下两行。分别显示不同扫描角度范围内的红外影像，上行图像右端与下行图像左端实际连接在一起，为一个连续扫描范围内红外影像的分行显示。

扫描位置线标示当前探测器扫描方位角。扫描线由较淡的一方向较浓的一方运动，如图2为从左向右扫描。只有扫描线所在方位处于显示区间中时，扫描线才可见。扫描线的宽度不随图像放缩而改变。

十字标在上下两行图2、3中都可以显示，同时会绘制水平和竖直两个方向的十字线贯穿图像，直到两侧的标尺，用于用户精确定位并实时显示对应的信息。由于上下两行图像为一个连续图像的两部分，因此十字标只有可能在其中一个图像中有显示，但是水平贯穿线会在两行图像中都有显示。

上下两行图像左右两端为俯仰方向指示标尺，左右两端完全一致。俯仰标尺中间三角箭头及附属框中显示当前光标所在位置对应的俯仰角度数值，精确到小数点后三位。两个三角箭头连线对应当前光标所在的俯仰水平线。两行图像之间为水平方位指示标尺，以及刻度值。中间双色水银柱表示当前所显示的红外图像区域在整个扫描视场中所处的区间。高亮部分对应上行图像所处区间，暗部分对应另一行图像所处区间。中间三角标码表示当前十字光标所处的方位角度。

水平标尺左右两端为十字标信息实时显示窗口，左侧显示俯仰及方位角度，右侧显示光标处所对应的红外数值。由于探测器输出数据为14位，所以数值范围为0到4095。

上行图像的左端和下行图像的右端各有一个箭头标号，当光标移动到此处位置时，该标号才显示。点击会引起图像的左右移动，设计每次移动1/10视场，或者通过系统设置里面由用户自定义。

图像下方区域为操控面板区域，系统提供用户多种操作。本地文件按钮用于切换图像数据源，当前数据来源于传感器实时采集数据；若点击该按钮之后将变为“传感器”，则数据来源于本地磁盘文件，此时将会弹出对话框由用户选择数据时间信息。系统将自动切换到显示磁盘图像。

原始尺寸用于1:1显示图像数据。图像中的每一个像素点都对应实际的唯一的一个方位角及俯仰角处的数据。全景显示用于将整个扫描区间全部显示出来，也即是上一行显示扫面范围中的左一半数据，下一行显示扫描范围中的剩下一半数据。由于要对图像进行比例缩放，所以此时俯仰方向不能充满整个空间，只占一小部分。

测试图例：用于控制传感器信号仿真板输出特定的图例，计划输出全黑(0)，全白(4095)，逐列从0渐变到4095，逐行从0渐变到479，黑白相间条纹图等5种模式。循环切换，点一次变化一次。测试图例的输出要与电缆连接相配合。信号转换板的输入要接到信号仿真板的输出才可以。

系统设置：

系统相关的参数、通讯接口等设置都在该按钮启动的对话框中弹出显示并接受用户修改。修改后将保存至硬盘配置文件中，下次启动可以自动加载。

底部设备连接标识表示系统自检是否成功，以及与探测器或者信号仿真板连接是否成功。系统在运行过程中也在检测，一旦接收数据异常，则显示该标记。

除了主界面上提供的操作之外，还支持鼠标无极缩放、平移等对图像的操作。滚动鼠标轮可以实现图像的上下移动，若同时按住”shift”键可以实现图像的左右移动；若同时按住“ctrl”键则可以实现对图像的放缩，按照原尺寸的10％为缩放步长。鼠标操作功能与本方案所采用的数据结构及绘制机制相关。伪彩显示，显示变换等按钮的具体功能在上述的实施例中已经进行了详述。

在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。

Claims (8)

1.一种高速大容量红外图像数据实时显示方法，其特征在于，步骤如下：

步骤1，将采集到的图像数据送入系统后按设定的主序进行整理并存储在内存中，然后，对储存在内存中的图像数据进行数据格式和图像显示变换操作；

步骤2，在所述系统中显示区域的周围开辟了不少于一块设定大小的内存缓冲区，即高速缓冲区，该高速缓冲区读取将经过步骤1处理后得到的图像数据，然后，再将该高速缓冲区中的图像数据拷贝到显示缓冲区中，实现图像的高速绘制。

2.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，步骤1中所述的设定的主序为按照行主序对图像数据进行整理。

3.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，所述的步骤1中对存储在内存中的图像数据还需要建立动态金字塔数据结构。

4.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，步骤1中所述的对储存在内存中的图像数据进行数据格式的变换操作是指，通过双平台直方图算法对该图像数据进行增强。

5.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，步骤1中所述的对储存在内存中的图像数据进行图像显示的变换操作是指，采用伪彩色增强的方式使该图像数据最终以彩色模式显示，或者以灰色模式显示。

6.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，所述步骤2中的图像的高速绘制采用多线程运行模式。

7.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，所述步骤2中所述的多线程运行模式分为主线程和工作线程，所述的多线程运行模式是指系统中涉及用户操作和界面响应；所述的工作线程是指系统中各种耗时操作包括：数据的读取、高速缓存数据准备、常用图像处理，显示变换处理。

8.根据权利要求1所述的一种高速大容量红外图像数据实时显示方法，其特征在于，步骤2中所述的显示缓冲区为双显示缓冲区，在其中一个显示缓冲区显示图像数据时，在另一显示缓冲区绘制图像，绘制完毕后切换到另一显示缓冲区，并在切换出的显示缓冲区中继续绘制下一帧图像。