CN104038808A - 增强机动载体视频流畅的图像解码装置及系统及解码方法 - Google Patents

Abstract

本发明公开了一种增强机动载体视频流畅的图像解码装置，包括视频解码单元和控制单元。视频解码单元接收视频信号并对所述视频信号进行解码，生成并输出用于显示的视频图像数据。控制单元与所述视频解码单元连接，在所述视频解码单元接收的所述视频信号发生中断或缺失时，控制所述视频解码单元对显示的图像实施平滑处理。本发明提高了卫星视频的流畅性，降低了马赛克卡壳和黑屏的出现概率。本发明还公开了增强机动载体视频流畅的图像解码装置的解码方法和一种增强机动载体视频流畅的图像解码系统及其解码方法。

Description

增强机动载体视频流畅的图像解码装置及系统及解码方法

技术领域

本发明涉及一种图像解码方法，尤其涉及一种增强机动载体视频流畅的图像解码装置及系统及解码方法。

背景技术

在国内外车/船载卫星电视接收设备规格书及产品标准中，关于天线跟踪精度的标注都采用了RMS(均方根值)统计方式，对于自动跟踪卫星天线产品，这意味着允许出现短时丢星情况，但要求丢星发生概率低于某一指标值。目前船载或车载等机动载体的卫星通信应用中，普遍存在一定概率的接收系统短时丢星情况。

对于卫星数据通信而言，丢星导致的数据中断可以通过重传方式保证接收完整。但在船载或车载等机动载体的卫星电视接收或视频通信等广播类应用中，图像解码器对于电视节目TS流接收的连续性及时序关系具有严格要求，瞬时丢星时卫星载波强度低于接收机门限值、导致部分图像数据包缺失，图像画面会出现马赛克卡壳或黑屏现象。在海上风浪较大，或路况不好、车辆行驶不平稳情况下，上述现象出现帧率增加，图像不流畅会影响用户收视的主管感受和图像评价效果。

发明内容

本发明克服了现有技术中丢失卫星载波型号时图像画面会出现马赛克或黑屏现象等缺陷，提出了一种增强机动载体视频流畅的图像解码装置及系统及解码方法。

本发明提出了一种增强机动载体视频流畅的图像解码装置，包括：

视频解码单元，其接收视频信号并对所述视频信号进行解码，生成并输出用于显示的视频图像数据；

控制单元，其与所述视频解码单元连接，在所述视频解码单元接收的所述视频信号发生中断或缺失时，控制所述视频解码单元对显示的图像实施平滑处理。

其中，所述视频解码单元包括：

基本流缓存模块，其存储的缓存数据包括所述视频信号；

视频帧提取模块，其从所述视频信号中提取视频帧数据；

视频解码模块，其根据解码时间戳对所述视频帧数据进行解码，生成图像数据；

图像缓存模块，其存储的缓存数据为所述图像数据；

视频渲染模块，其根据显示时间戳对所述图像数据进行渲染，生成视频图像数据；

视频显示模块，其输出所述视频图像数据。

其中，所述控制单元探测所述基本流缓存模块与所述图像缓存模块存储的缓存数据；当所述缓存数据发生缺失或中断时，所述控制单元调节所述视频渲染模块对于所述图像数据的渲染与显示帧率，实现对显示的图像实施平滑处理。

其中，所述视频解码单元从接收的卫星载波信号中获取所述视频信号。

其中，所述图像解码装置设置在机动载体上。

本发明还提出了一种增强机动载体视频流畅的图像解码系统，包括：

所述图像解码装置，其生成视频图像数据，根据显示时间戳通过所述视频显示模块输出所述视频图像数据；

文本解码装置，其获取文本信号并解码生成文本数据，所述文本解码装置将所述文本数据加载至所述视频图像数据中通过所述视频显示模块输出；

音频解码装置，其包括音频播放模块，所述音频解码装置获取音频信号并解码生成音频数据，并利用所述音频播放模块根据显示时间戳与所述视频显示模块同步输出所述音频数据。

本发明还提出了一种增强机动载体视频流畅的图像解码装置的解码方法，包括以下步骤：

步骤一：所述基本流模块接收并缓存所述视频信号，并通过所述控制单元实时探测缓存容量；

步骤二：所述视频帧提取模块从所述视频信号中提取视频帧数据，所述视频解码模块根据解码时间戳对视频帧数据进行解码，生成图像数据；

步骤三：所述图像缓存模块存储所述图像数据，并通过所述控制单元实时探测缓存容量；

步骤四：所述视频渲染模块根据显示时间戳对所述图像数据进行渲染；若所述控制单元探测到所述基本流缓存模块或图像缓存模块中的缓存数据发生缺失或中断，所述控制单元调节所述视频渲染模块对于所述图像数据的渲染和显示帧率，实现对显示的图像实施平滑处理；

步骤五：所述视频显示模块输出所述视频图像数据。

其中，所述步骤四中控制单元调节对于所述图像数据的渲染和显示帧率的过程包括：

步骤A1：所述控制单元根据所述图像缓存模块中的图像数据计算所述视频渲染模块的渲染和显示帧率，所述帧率的计算方法如下式所述：

Fps＝N/(T1+T2)；

式中，Fps表示帧率，N1表示所述图像缓存模块中图像数据帧数，T1表示缓存图像数据的时间长度，T2表示缺失或中断的图像数据的时间长度；

步骤A2：所述控制单元根据计算的帧率设定所述视频渲染单元的渲染和显示帧率，将缓存的图像数据平滑分配至缺失或中断的图像数据的时间内，实现对视频图像数据的平滑处理。

其中，所述步骤四进一步包括：所述控制单元保持所述视频渲染模块的渲染和显示帧率，当所述图像缓存模块中未存在下一显示时间戳的图像数据时，所述控制单元控制所述视频显示模块重复输出当前帧的视频图像数据以平滑过渡缺失的图像数据的黑屏时间，实现对显示的图像实施平滑处理。

本发明还提出了一种增强机动载体视频流畅的图像解码系统的解码方法，包括以下步骤：

步骤B1：所述图像解码系统接收传输流信号，并将所述传输流信号解复用生成视频信号、文本信号与音频信号；

步骤B2：所述图像解码装置、文本解码装置和音频解码装置获取所述视频信号、文本信号和音频信号，并根据解码时间戳对所述视频信号、文本信号和音频信号进行解码，生成图像数据、文本数据和音频数据；

步骤B3：所述图像解码装置渲染所述解码后的图像数据生成视频图像数据，所述文本解码装置渲染所述解码后的文本数据，所述音频解码装置渲染所述解码后的音频数据；

步骤B4：将所述渲染后的文本数据加载至所述视频图像数据中并通过所述视频显示模块根据显示时间戳输出，所述音频播放模块以相同的显示时间戳同步输出所述音频数据。

卫星载波接收中断造成图像数据缺失，客观上已经形成了电视解码播放的不连续性。本发明运用降低帧率、画面重复等平滑播放处理手段，降低了马赛克、黑屏等用户主观抵触性现象的出现概率，改善了用户电视收看主观感受和图像评价效果。

附图说明

图1为本发明的图像解码装置的结构示意图。

图2为本发明的图像解码装置的解码方法的流程图。

图3为本发明的图像解码系统的结构示意图。

图4为本发明的图像解码系统的解码方法的流程图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

如图1显示的本发明的增强机动载体图像流畅图像解码装置，主要包括视频解码单元及其控制单元。视频解码单元用于接收视频信号并对视频信号进行解码，从而生成用于显示的视频图像数据。视频图像数据输出至显示设备上以视频画面。当视频解码单元接收的视频信号发生缺失或中断时，显示设备上的视频画面将出现马赛克和短时黑屏等现象。控制单元与视频解码单元连接，控制单元在能探测视频解码单元接收的视频信号的数据量，判断视频解码单元接收的视频信号是否发生中断或缺失。当视频信号发生中断或缺失时，控制单元控制视频解码单元对显示的图像实施平滑处理，从而避免视频画面出现马赛克等异常，改善了用户对于视频画面的主观感受，提升了视频画面的质量。

本发明中，视频解码单元主要包括基本流(ES，Flementary Stream)缓存模块、视频帧提取模块、视频解码模块、图像缓存模块(Picture Buffer)、视频渲染模块(Video Render)和视频显示模块，以上各模块依次连接。基本流缓存模块用于存储的缓存数据，其中包括视频信号。视频帧提取模块从基本流缓存模块中缓存的视频信号中提取视频帧数据。视频解码模块以解码时间戳为依据，当视频帧数据到达解码时间戳时才对其进行解码，若以超过解码时间戳则丢弃该视频帧数据，若未到达解码时间戳则将该视频帧数据仍保存于待解码的队列中，视频解码模块对视频帧数据进行解码后生成图像数据。图像缓存模块用于存储缓存数据，其缓存数据为视频解码模块生成的图像数据。视频渲染模块的工作方式与视频解码模块类似，其根据显示时间戳对图像数据进行渲染，生成视频图像数据。视频显示模块利用视频输出接口向显示设备输出视频图像数据。

控制单元探测基本流缓存模块与图像缓存模块存储的缓存数据，检测基本流缓存模块和图像缓存模块中的缓存数据是否存在缺失或中断的情况。当数据停止流入时系统判别为卫星丢失、数据中断；当数据流入恢复时，判别为卫星找回、中断恢复。控制单元计数发生数据中断的时间。当缓存数据发生缺失或中断时，控制单元调节视频渲染模块对于图像数据的渲染与显示帧率，利用已缓存的数据平滑填充至存在缺失或中断的中间中，避免视频图像发生马赛克或短时黑屏的情况，实现对显示的图像实施平滑处理。

本发明应用于容易出现丢失视频信号的视频解码终端中，常见于接收卫星载波信号的卫星视频解码终端设备中。目前卫星电视广播或卫星视频通信中，其信源编码多采用了MPEG2/MPEG4、H.264等数字图像编码方式，系统传输中包含有时序模型，图像帧与帧之间具有严格的时序关系，包含解码时间戳DTS和显示时间戳PTS。接收信号的短时中断会造成部分图像帧数据的丢失，解码播放过程中由于当前帧数据残缺而无法形成对前一帧图像内容的完整刷新，表现在电视画面上会出现马赛克卡壳现象。本发明尤其适用于设置在机动载体上的卫星载波信号的卫星视频解码终端设备中。

图2显示的是增强机动载体视频流畅的图像解码装置解码方法的流程图，其中包括以下步骤：

步骤一：基本流模块接收并缓存视频信号，并通过控制单元实时探测缓存容量；

步骤二：视频帧提取模块从视频信号中提取视频帧数据，视频解码模块根据解码时间戳对视频帧数据进行解码，生成图像数据；

步骤三：图像缓存模块存储图像数据，并通过控制单元实时探测缓存容量；

步骤四：视频渲染模块根据显示时间戳对图像数据进行渲染；若控制单元探测到基本流缓存模块或图像缓存模块中的缓存数据发生缺失或中断，控制单元调节视频渲染模块对于图像数据的渲染和显示帧率，实现对显示的图像实施平滑处理；

步骤五：视频显示模块输出视频图像数据。

本发明主要着重于步骤四对于发生缺失或中断的视频信号时对视频图像实施平滑处理，本实施例根据图像缓存模块(Video Buffer)中缓存的图像数据平滑分配至缓存图像数据正常播放的时间长度与存在缺失或中断的图像数据的时间长度的总和中。上述实施过程通过调节视频渲染模块的渲染和显示帧率，从而调节视频图像数据的输出帧率，帧率的计算公式如下式所示：

Fps＝N/(T1+T2)；

式中，Fps表示帧率，N1表示图像缓存模块中图像数据帧数，T1表示缓存图像数据的时间长度，T2表示缺失或中断的图像数据的时间长度。

控制单元将视频渲染单元的渲染和显示帧率设定为计算值。在上述过程中，由于增加了时间长度，等效于控制单元降低了视频渲染模块的渲染和显示帧率，从而降低了显示设备的播放帧速率，避免了显示的视频图像出现马塞克或卡壳的现象，实现了对视频图像数据的平滑处理。

优选地，由于基本流缓存和图像缓存的存在，传输流数据进入基本流缓存排队队列至排队流出图像缓存，中间存在一定的延迟时间。该延迟时间为缓存总帧数和正常播放帧速率的商。当基本流缓存模块中出现图像数据短时缺失时，控制单元保持视频渲染模块的渲染和显示帧率，当图像缓存模块中不存在下一显示时间戳的图像数据时，控制单元控制视频显示模块重复输出当前帧的视频图像数据以平滑过渡缺失的图像数据的黑屏时间，实现对显示的图像实施平滑处理。本发明判定图像数据短时缺失的依据不作限制，本实施例中将延迟时间的20％作为执行上述处理方式的阈值，例如某缓存容量配置下延迟数据的时间长度是1秒，若传输流输入完全中断时，1秒后图像画面才会出现中断，期间图像播出为缓存中的内容。假设传输流发生短时中断，中断持续时间为0.2秒，这种情况下控制单元可以允许不进行降帧操作。控制单元控制视频显示模块重复播放上一帧视频图像数据以填补0.2秒的无视频图像的短时黑屏。

如图3显示的本发明的增强机动载体视频流畅的图像解码系统，其中包括图像解码装置、文本解码装置和音频解码装置。图像解码装置生成视频图像数据并根据显示时间戳通过视频显示模块输出视图像数据。文本解码装置获取文本信号并解码生成文本数据，文本解码装置将文本数据加载至视频图像数据中通过视频显示模块输出。音频解码装置包括音频播放模块，音频解码装置获取音频信号并解码生成音频数据，并利用音频播放模块根据显示时间戳与视频显示模块同步输出音频数据。上述视频图像数据与音频数据分别通过视频输出接口与音频输出接口发送至显示播放设备中，呈现出具有字幕的视频图像及与图像对应的声音。

图4显示的是增强机动载体视频流畅的图像解码系统的解码方法，包括以下步骤：

步骤B1：图像解码系统接收传输流信号，并将传输流信号解复用生成视频信号、文本信号与音频信号；

步骤B2：图像解码装置、文本解码装置和音频解码装置获取视频信号、文本信号和音频信号，并根据解码时间戳对视频信号、文本信号和音频信号进行解码，生成图像数据、文本数据和音频数据；

步骤B3：图像解码装置渲染解码后的图像数据生成视频图像数据，文本解码装置渲染解码后的文本数据，音频解码装置渲染解码后的音频数据；

步骤B4：将渲染后的文本数据加载至视频图像数据中并通过视频显示模块根据显示时间戳输出，音频播放模块以相同的显示时间戳同步输出音频数据。

本实施例将图像解码系统设置于卫星视频终端设备中，卫星接收机射频前端首先对卫星载波进行调谐、降频、解调处理，输出传输流数据(TS，Transprot Stream)，经过传输流解复用后传输至基本流缓存模块中，本实施例选用的基本流缓存模块存储传输流解复用后的文本信号、视频信号和音频信号。基本流缓存模块中的信号按照解码时间戳(DTS)排序。由于TS流中的数据包都是被重新分割打包的，解码之前需要进行可解码数据访问单元起始点的识别，即存在一个帧提取(Paketizer)的过程。音频帧提取模块提取出音频帧数据，视频帧提取模块提取出视频帧数据。音频解码模块、文本解码模块和视频解码模块根据解码时间戳DTS分别对音频帧数据、文本信号和视频帧数据实施解码，生成解码后的音频数据、文本数据和图像数据。其中根据数据包的DTS决定是否进行解码，如果DTS小于当前解码时刻，则说明该数据由于某种原因未被及时解码但已过时，将直接丢弃而不再进行解码；如果DTS大于当前解码时刻，说明该数据为未来某帧图像的待解码数据，将继续在ES Buffers保持等待，直到解码时刻到来。视频解码装置将图像数据进行渲染，获得视频图像数据。文本解码装置中子图渲染模块对解码后的文本数据进行渲染并根据显示时间戳将文本数据加载至视频图像数据中，由视频输出接口向显示播放设备输出加载有文字的视频图像数据。的音频解码装置中对解码后的音频数据实施滤波与混音并传输至音频播放模块中，并根据显示时间戳与视频图像数据同步输出。

正常情况下，基本流缓存模块中存放的待解码数据包数量相对稳定，卫星瞬时丢星会导致信号接收短时中断，流入基本流缓存模块的数据包会减少或中断，基本流缓存模块缓冲的待解码数据包数量明显下降。控制单元通过对基本流缓存模块内数据包的统计，可以判断是否曾发生过卫星信号接收中断及断点时长，从而实现对音频视频输出单元的控制，以提高视频的流畅性。当控制单元检测到基本流缓存模块统计显示有信号中断发生时，控制单元调整图像缓存模块模块，降低图像缓存模块中图像数据渲染和显示的帧率，平滑填充后续图像帧缺失留下的时间空白，保持画面播放的相对流畅；或者当控制单元检测到基本流缓存模块显示图像数据丢失较少的情况时图像缓存模块仍按照正常帧率播放，图像缓存模块中没有可播放的下一幅图像时，控制单元控制图像缓存模块采用重复播放当前帧的方法以保证画面的连续显示。优选地，本发明还可增大图像解码系统中的基本流缓存模块和图像缓存模块容量，运用降低帧率、画面重复等平滑播放处理方式，在一定程度上降低了产品使用中的马赛克、黑屏出现概率，改善了用户电视收看主观感受和图像评价效果。

本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点部被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (10)

1.一种增强机动载体视频流畅的图像解码装置，其特征在于，包括：

视频解码单元，其接收视频信号并对所述视频信号进行解码，生成并输出用于显示的视频图像数据；

控制单元，其与所述视频解码单元连接，在所述视频解码单元接收的所述视频信号发生中断或缺失时，控制所述视频解码单元对显示的图像实施平滑处理。

2.如权利要求1所述的增强机动载体视频流畅的图像解码装置，其特征在于，所述视频解码单元包括：

基本流缓存模块，其存储的缓存数据包括所述视频信号；

视频帧提取模块，其从所述视频信号中提取视频帧数据；

视频解码模块，其根据解码时间戳对所述视频帧数据进行解码，生成图像数据；

图像缓存模块，其存储的缓存数据为所述图像数据；

视频渲染模块，其根据显示时间戳对所述图像数据进行渲染，生成视频图像数据；

视频显示模块，其输出所述视频图像数据。

3.如权利要求2所述的增强机动载体视频流畅的图像解码装置，其特征在于，所述控制单元探测所述基本流缓存模块与所述图像缓存模块存储的缓存数据；当所述缓存数据发生缺失或中断时，所述控制单元调节所述视频渲染模块对于所述图像数据的渲染与显示帧率，实现对显示的图像实施平滑处理。

4.如权利要求1所述的增强机动载体视频流畅的图像解码装置，其特征在于，所述视频解码单元从接收的卫星载波信号中获取所述视频信号。

5.如权利要求1所述的增强机动载体视频流畅的图像解码装置，其特征在于，所述图像解码装置设置在机动载体上。

6.一种增强机动载体视频流畅的图像解码系统，其特征在于，包括：

权利要求1中所述的图像解码装置，其生成视频图像数据，根据显示时间戳通过所述视频显示模块输出所述视频图像数据；

文本解码装置，其获取文本信号并解码生成文本数据，所述文本解码装置将所述文本数据加载至所述视频图像数据中通过所述视频显示模块输出；

音频解码装置，其包括音频播放模块，所述音频解码装置获取音频信号并解码生成音频数据，并利用所述音频播放模块根据显示时间戳与所述视频显示模块同步输出所述音频数据。

7.一种增强机动载体视频流畅的图像解码装置的解码方法，其特征在于，包括以下步骤：

步骤一：所述基本流模块接收并缓存所述视频信号，并通过所述控制单元实时探测缓存容量：

步骤二：所述视频帧提取模块从所述视频信号中提取视频帧数据，所述视频解码模块根据解码时间戳对视频帧数据进行解码，生成图像数据；

步骤三：所述图像缓存模块存储所述图像数据，并通过所述控制单元实时探测缓存容量；

步骤四：所述视频渲染模块根据显示时间戳对所述图像数据进行渲染；若所述控制单元探测到所述基本流缓存模块或图像缓存模块中的缓存数据发生缺失或中断，所述控制单元调节所述视频渲染模块对于所述图像数据的渲染和显示帧率，实现对显示的图像实施平滑处理；

步骤五：所述视频显示模块输出所述视频图像数据。

8.如权利要求7所述的增强机动载体视频流畅的图像解码装置的解码方法，其特征在于，所述步骤四中控制单元调节对于所述图像数据的渲染和显示帧率的过程包括：

步骤A1：所述控制单元根据所述图像缓存模块中的图像数据计算所述视频渲染模块的渲染和显示帧率，所述帧率的计算方法如下式所述：

Fps＝N/(T1+T2)；

式中，Fps表示帧率，N1表示所述图像缓存模块中图像数据帧数，T1表示缓存图像数据的时间长度，T2表示缺失或中断的图像数据的时间长度；

步骤A2：所述控制单元根据计算的帧率设定所述视频渲染单元的渲染和显示帧率，将缓存的图像数据平滑分配至缺失或中断的图像数据的时间内，实现对视频图像数据的平滑处理。

9.如权利要求7所述的增强机动载体视频流畅的图像解码装置的解码方法，其特征在于，所述步骤四进一步包括：所述控制单元保持所述视频渲染模块的渲染和显示帧率，当所述图像缓存模块中未存在下一显示时间戳的图像数据时，所述控制单元控制所述视频显示模块重复输出当前帧的视频图像数据以平滑过渡缺失的图像数据的黑屏时间，实现对显示的图像实施平滑处理。

10.一种增强机动载体视频流畅的图像解码系统的解码方法，其特征在于，包括以下步骤：

步骤B1：所述图像解码系统接收传输流信号，并将所述传输流信号解复用生成视频信号、文本信号与音频信号；

步骤B2：所述图像解码装置、文本解码装置和音频解码装置获取所述视频信号、文本信号和音频信号，并根据解码时间戳对所述视频信号、文本信号和音频信号进行解码，生成图像数据、文本数据和音频数据；

步骤B3：所述图像解码装置渲染所述解码后的图像数据生成视频图像数据，所述文本解码装置渲染所述解码后的文本数据，所述音频解码装置渲染所述解码后的音频数据；

步骤B4：将所述渲染后的文本数据加载至所述视频图像数据中并通过所述视频显示模块根据显示时间戳输出，所述音频播放模块以相同的显示时间戳同步输出所述音频数据。