CN110392296A - 飞行器自定义格式试飞视频图像在线回放技术 - Google Patents

Abstract

本发明公开一种飞行器自定义格式试飞视频图像在线回放技术，所述飞行器自定义格式试飞视频图像在线回放技术通过读取存储在分布式集群存储系统里的数字视频图像，对已有的试飞图像进行在线浏览，并且能够回放红外搜索跟踪系统真实试飞视频图像，以满足对红外探测器和目标信息处理软件的开发及验证要求。利用自定义视频图像文件解析技术读取数据库文件服务器中的用户自定义格式的试飞视频图像，并动态加载相对应的不同文件解析脚本。根据获得的信息生成标准二进制图片，并利用数据实时传输技术将图片发送给前端，前端网页接收图片并进行编号，部分图像数据保存在动态数组里，部分图像数据缓存在客户端本地，在需要回放时进行相应调用。最后利用定时器机制实现图片的视频播放效果。整体技术的应用基于B/S架构，采用Django框架实现。

Description

飞行器自定义格式试飞视频图像在线回放技术

技术领域

本发明涉及飞行器试飞产生的自定义视频图像数据处理领域，应用了信息技术、计算机技术、网络技术以及流媒体等技术，主要涉及自定义视频文件解析、标准图片生成、图片数据实时传输以及在线回放和缓冲等。

背景技术

飞行试验是在真实飞行环境下进行的各种试验，具有风险大、周期长和测试数据量大三个显著特点。尤其是测试技术的不断发展导致测试数据量的爆炸性增长，现在一个飞行架次动辄就是几GB、几十甚至上百GB的数据，试飞数据的海量化成为未来发展的必然趋势。在这些试飞数据中试飞视频图像占有很大的比重，海量试飞视频图像的管理已经成为影响数据处理效率的主要瓶颈。

在飞行试验中，视频图像数据能够全面、直观、时效、客观地反映人机交互动作，是试飞工程师给出航空武器装备试飞结论的重要依据。试飞视频图像处理过程中会涉及到对试飞视频图像数据的获取、传输、整理、显示和回放等过程，这些过程共同形成了一个系统的整体周期，可以连续地运作。在视频图像处理技术范围内主要包括视频图像的传输、显示和回放技术。

视频图像播放与回放的关键是做到平滑显示，平滑的视频是以图像序列更新间隔短于视觉滞留时间为前提的。根据HVS(Human Visual System)对时间频率的响应特征，在中等亮度环境下，人类视觉能够察觉到的图像帧频率变化的峰值大约在15-20Hz，因而，平滑显示视频图像的帧速率一般应为22-30帧/s(frames per second)，而产生平滑视频的临界帧频大约为20帧/s。低于这个帧速率，就会感到视频跳动和不舒服。因此，要做到视频实时显示，其关键是要保证图像更新的帧速率不小于20帧/s。

近年来无线网络的发展和广泛应用，受到飞行试验传输界的重视。飞行试验数据处理系统已朝网络化方向发展。在试飞视频图像数据处理和管理网络化的背景下，试飞视频图像的在线显示和回放技术成为确保现代飞机试飞安全、研究试飞过程中飞行状况的有效手段之一。

发明内容

本发明通过读取存储在分布式集群存储系统里的数字视频图像，对已有的试飞图像进行在线浏览，并且能够回放红外搜索跟踪系统真实试飞视频图像，以满足对红外探测器和目标信息处理软件的开发及验证要求。

本发明的技术实现基于B/S架构，即浏览器/服务器架构。在整体上分为服务器和用户使用的浏览器两个部分。

在服务器端部分，主要完成了自定义视频图像文件解析和转化标准二进制图片的实现。由于存储在分布式集群存储系统中的试飞视频图像格式根据产品型号的不同会发生改变，因此当服务器端接收到客户端发送的包含产品型号的请求时，能够根据第三方提供的API读取数据库文件服务器中的用户自定义格式的试飞视频图像，并动态加载相对应的不同文件解析脚本。该脚本可以对用户自定义格式的试飞视频图像文件进行操作，包括检索视频图像文件、读取视频图像文件、搜索并定位具体图像帧数据、解析帧头信息数据等。

本发明基于BMP图像文件结构进行标准图像转化以供浏览器播放。BMP(全称Bitmap)是一种标准图像文件格式，典型的BMP图像文件由四部分组成：位图头文件数据结构、位图信息数据结构、调色板和位图数据。BMP图像采用位映射存储格式，除了图像深度可选以外，不采用其他任何压缩方式，图像画质最好。自定义视频图像文件解析后获取所需信息，并对位图头文件数据和位图信息数据进行填充。原始视频图像文件为红外探测器拍摄，其位图数据像素为14位，动态分段的映射转化为8位灰度图。对于试飞视频而言图像深度为8位的灰度图足以满足观看需求。

前后端通信基于WebSocket协议。WebSocket是一种网络通信协议，RFC6455 定义了它的通信标准。WebSocket使得客户端和服务器端之间的数据交换变得更加简单，允许服务器端主动向客户端推送数据。本发明利用WebSocket协议在 WebSocket API中，在用户发送一次浏览试飞视频请求后建立一个持久性的连接，浏览器端和服务器端只需要完成一次握手即可进行双向数据传输，并且保持连接状态。相对于HTTP请求每次都要携带完整的头部，此项开销显著减少了，具有较少的控制开销。此外WebSocket定义了二进制帧，相对HTTP，可以更轻松地处理二进制内容。在连接过程中可以将服务器端不断处理生成的二进制图像数据传输到客户端，直到传输完用户所需观看的所有视频图像数据后才关闭连接，能在短时间内更多次地传递数据，延迟明显更少。

在客户端部分，主要完成了接收图片并存入数组、动态调整数组大小和缓存机制。使用HTML、JavaScript技术接收WebSocket传输过来的二进制图像数据，并根据图像数据中的时间信息进行编号存入数组。利用JavaScript中的定时器机制实现图片的视频播放效果，并具有播放、暂停、进度条拖动等功能。由于服务器硬件的不同，本发明还可以实时读取服务器内存大小，并按照一定规则动态调整数组的大小，以保持服务器内存的充分利用。在数组大小填满后，从数组头部将帧数据删除并存入客户端本地以实现缓存，当用户回放视频时可以直接调取客户端本地缓存直接播放，只会产生极小的网络流量，减少网络带宽消耗。这样用户可以重复使用本地的缓存，减少对服务器的请求，间接降低服务器的压力，并且缓存的使用能够明显加快页面打开速度，达到更好的用户体验。当用户观看完视频后可以选择下载该视频或者直接删除本地缓存。

本发明的优点在于：

(1)自定义格式文件解析基于不同产品型号模板加载，可扩展性强；

(2)原始红外图像转换为标准图像格式，避免了视频编码解码的问题，减小服务器计算压力，处理方便；

(3)数据传输基于WebSocket协议，具有较少的控制开销，能在短时间内更多次地传递数据，延迟明显更少；

(4)动态读取内存变化，充分利用服务器资源；

(5)实现了缓存机制，用户再次播放视频时网络带宽消耗小，降低服务器的压力，达到更好的用户体验。

附图说明

图1为本发明提供的整体技术框图；

图2为本发明提供的B/S架构框图；

图3为本发明提供的自定义视频图像文件解析流程图；

图4为本发明提供的标准BMP图像生成流程图；

图5为本发明提供的数据传输流程图；

图6为本发明提供的缓存机制框图；

图7为客户端视频播放界面。

具体实施方式

下面结合附图对本发明提供的飞行器自定义格式试飞视频图像实时在线回放技术进行详细说明。

图1是飞行器自定义格式试飞视频图像实时在线回放技术的整体技术框图。主要包括自定义视频图像文件解析技术、标准二进制图片生成技术、数据实时传输技术、图像接收并编号技术、动态调整数组大小技术和缓存机制。首先利用自定义视频图像文件解析技术读取数据库文件服务器中的用户自定义格式的试飞视频图像，并动态加载相对应的不同文件解析脚本。根据获得的信息生成标准二进制图片，并利用数据实时传输技术将图片发送给前端，前端网页接收图片并进行编号，部分图像数据保存在动态数组里，部分图像数据缓存在客户端本地，在需要回放时进行相应调用。最后利用定时器机制实现图片的视频播放效果。

整体技术的应用基于B/S架构，如图2所示。其中，自定义视频图像文件解析和标准二进制图片生成在服务器端完成；图像接收并编号技术、动态调整数组大小技术和缓存机制在客户端完成。二进制数据利用网络传输，整体采用Django 框架实现。

图3是自定义视频图像文件解析的具体流程图。存储在数据库服务器中的试飞视频图像容量巨大，包含各种产品和各个时间段的自定义视频，而在回放的时候并不需要原始文件中的全部内容。由于试飞视频是试飞图像的序列，序列中每一张图像的大小是固定的，可以从试飞视频的尺寸和试飞图像的尺寸中推算出相对的时间段，配合视频的创建时间，可以计算出精确的时间标签。由于试飞图像具有时间标签，因此根据用户指定的产品型号和时间段，在软件内部数据库搜索相关的信息并定位视频图像文件的路径，可以直接在服务器端找出在时间区间内的全部图像，调用该路径的视频图像文件按照时间顺序进行相应的处理得到原始的数据流。读取视频图像文件内容，并根据图像帧的帧头时间信息定位到所需的帧数据。分别提取帧头数据和图像像素信息，保存在内存中。不同型号的产品视频图像文件格式不同，根据预先编写好的脚本，产品型号与脚本一一对应，在需要时进行调用。

图4是标准BMP图像生成流程图。典型的BMP图像文件由四部分组成：位图头文件数据结构、位图信息数据结构、调色板和位图数据。位图文件头为14字节，分别表示文件类型、整个文件的大小、保留位和偏移量等。位图信息头为40 字节，分别表示位图信息头的长度、位图的宽度(单位为像素)、位图的高度(单位为像素)、每个像素的位数和文件使用的颜色数等。调色板大小为N*4字节，其中N表示颜色的数目，对于8位灰度图，则对应的颜色数N＝2^8＝256，则调色板的大小为256*4＝1024字节。位图数据包含所有的位图数据字节，每个像素用 1个字节表示。根据自定义视频图像文件解析提取的帧头数据和图像像素信息，按规则筛选标准BMP图像生成所需信息进行填充。其中的重点在于原始视频图像文件为红外探测器拍摄，其位图数据像素为14位不能直接观看，需要分段映射转化为8位灰度图。本发明使用公式对所有像素进行标定化，在对像素标定化后，就可以像普通灰度图像一样进行显示了。在标定时根据图像像素点的频率分布统计，使用直方图规格化技术以累积直方图信息为依据进行相应的处理，构建归一化的直方图，找到对应的分割点即最大值和最小值，将14位的像素点分段线性映射为8位。

服务器端和客户端数据传输通过基于WebSocket协议的网络传输，如图5所示。当前端发送一个WebSocket请求时，服务器端检查到该WebSocket请求时建立一个WebSocket连接。在连接建立时触发WebSocket.onopen方法，向服务器端发送产品型号、自定义视频图像文件的起止时间等信息。服务器端接收到信息后进行视频图像文件解析和标准BMP图像生成工作，并将处理好的二进制图片按时间顺序发送给客户端。在客户端接收服务器端数据时触发 WebSocket.onmessage方法，首先通知客户端即将发送的图像大小、数量等信息，为动态调整数组大小提供必要信息。在确定数组大小后，将接收到的视频图像数据保存在JavaScript的数组结构中。当服务器端向客户端传送完所有数据后，通知客户端，客户端关闭WebSocket连接。这就完成了一次观看视频的数据传输过程。由于WebSocket长连接、更好的二进制支持等特性，即使原始试飞视频图像数量巨大，在服务器端处理速度足够快的情况下，能在短时间内更多次地传递数据，也可以保证传输的实时性，延迟明显更少。

客户端在接收到标准的二进制图像数据后进行前端处理并播放。具体为利用JavaScript中的数组结构存储图像数据，并使用定时器每隔一定的时间变更HTML中图像标签的src属性来加载数组中的图像数据，显示在网页上。在客户端接收二进制图像数据之前会先接收到服务器端发送的当前内存大小、即将接收的图像大小、图像数量等信息。根据相应的信息按照一定的规则来动态分配数组的大小，保证数组不至于过大而造成内存溢出，也不至于数组过小内存使用不充分。在接收试飞视频图像时根据时间标签对图像进行编号，若图像大小大于分配的数组时，不断地将溢出图像中编号在前的部分图像从数组中删除，并缓存在客户端本地。

缓存机制就是把一个已经请求过的Web资源拷贝一份副本储存在客户端本地中。缓存会根据进来的请求保存输出内容的副本。当下一个请求来到的时候，如果是相同的URL，缓存会根据缓存机制决定是直接使用副本响应访问请求，还是向源服务器再次发送请求。当使用缓存时在试飞视频回放观看时，许多图像数据都是直接从缓存中读取的，而不是重新去向服务器请求，如图6所示。当用户第一次发送请求时即顺序观看视频时是无缓存的，需要从服务器端请求所有的试飞视频图像数据，根据请求响应来判断是否要进行缓存操作，并进行试飞视频的呈现。当用户需要回放视频多次观看时，若本地有缓存则判断缓存是否过期，缓存未过期则从缓存中读取数据，缓存过期则判断对应资源在服务器端的唯一标识符(Etag)是否改变、缓存数据是否改变，根据不同的情况决定重新缓存还是从原有缓存中读取。

Claims (5)

1.飞行器自定义格式试飞视频图像在线回放技术，其特征在于：所述飞行器自定义格式试飞视频图像在线回放技术通过读取存储在分布式集群存储系统里的数字视频图像，对已有的试飞图像进行在线浏览，并且能够回放红外搜索跟踪系统真实试飞视频图像，以满足对红外探测器和目标信息处理软件的开发及验证要求。整体技术的应用基于B/S架构，其中，自定义视频图像文件解析和标准二进制图片生成在服务器端完成；图像接收并编号技术、动态调整数组大小技术和缓存机制在客户端完成。二进制数据利用基于WebSocket协议的网络传输，整体采用Django框架实现。

2.根据权利要求1所述的整体技术框架，其特征在于：主要包括自定义视频图像文件解析技术、标准二进制图片生成技术、数据实时传输技术、图像接收并编号技术、动态调整数组大小技术和缓存机制。首先利用自定义视频图像文件解析技术读取数据库文件服务器中的用户自定义格式的试飞视频图像，并动态加载相对应的不同文件解析脚本。根据获得的信息生成标准二进制图片，并利用数据实时传输技术将图片发送给前端，前端网页接收图片并进行编号，部分图像数据保存在动态数组里，部分图像数据缓存在客户端本地，在需要回放时进行相应调用。最后利用定时器机制实现图片的视频播放效果。

3.根据权利要求1所述的服务器端技术，其特征在于：在服务器端部分，主要完成了自定义视频图像文件解析和转化标准二进制图片的实现。由于存储在分布式集群存储系统中的试飞视频图像格式根据产品型号的不同会发生改变，因此当服务器端接收到客户端发送的包含产品型号的请求时，能够根据第三方提供的API读取数据库文件服务器中的用户自定义格式的试飞视频图像，并动态加载相对应的不同文件解析脚本。该脚本可以对用户自定义格式的试飞视频图像文件进行操作，包括检索视频图像文件、读取视频图像文件、搜索并定位具体图像帧数据、解析帧头信息数据等。根据自定义视频图像文件解析提取的帧头数据和图像像素信息，按规则筛选标准BMP图像生成所需信息进行填充。对于红外探测器拍摄的不能直接观看的位图数据像素为14位的原始视频图像，对其位图数据像素进行标定化。在标定时根据图像像素点的频率分布统计，使用直方图规格化技术以累积直方图信息为依据进行相应的处理，构建归一化的直方图，找到对应的分割点，即最大值和最小值，将14位的像素点分段线性映射为8位。

4.根据权利要求1所述的数据传输技术，其特征在于：前后端通信基于WebSocket协议。利用WebSocket协议在WebSocket API中，在用户发送一次浏览试飞视频请求后建立一个持久性的连接，浏览器和服务器只需要完成一次握手即可进行双向数据传输，允许服务端主动向客户端推送数据，并且保持连接状态。此外WebSocket定义了二进制帧，相对HTTP，可以更轻松地处理二进制内容。在连接过程中可以将服务器端不断处理生成的二进制图像数据传输到客户端，直到传输完用户所需观看的所有视频图像数据后关闭连接，能在短时间内更多次地传递数据，延迟明显更少。

5.根据权利要求1所述的客户端技术，其特征在于：主要完成了接收图片并存入数组、动态调整数组大小和缓存机制。使用HTML、JavaScript技术接收WebSocket传输过来的二进制图像数据，并根据图像数据中的时间信息进行编号存入数组。利用JavaScript中的定时器机制每隔一定的时间变更HTML中图像标签的src属性来加载数组中的图像数据以实现图片的视频播放效果，并具有播放、暂停、进度条拖动等功能。实时读取服务器内存大小，并按照一定规则动态调整数组的大小，以保持服务器内存的充分利用。在数组大小填满后，从数组头部将帧数据删除并存入客户端本地以实现缓存，当用户回放视频时可以直接调取客户端本地缓存直接播放，只会产生极小的网络流量，减少网络带宽消耗。这样用户可以重复使用本地的缓存，减少对服务器的请求，间接降低服务器的压力，并且缓存的使用能够明显加快页面打开速度，达到更好的用户体验。