CN103795980A - 级联视频设备及其数据处理方法 - Google Patents

Abstract

本发明公开了一种级联视频设备及其数据处理方法，涉及视频监控领域。级联视频设备包括级联视频主单元（110）、级联视频从单元（120）、网络接口（101）、PCI总线（102）和BT1120总线（103）；网络接口（101）、级联主CPU（113）、PCI总线（102）、级联从CPU（123）、BT1120总线（103）和级联主CPU（113）依次连接。本发明具有下列优点和积极效果：①使级联视频设备在无人值守的情况下具有高可靠性和免维护性；②使级联视频设备及时地处理系统故障，降低了设备故障恢复时间；③能提高级联视频设备解码画面的及时性和流畅性。

Description

级联视频设备及其数据处理方法

技术领域

本发明涉及视频监控领域，尤其涉及一种级联视频设备及其数据处理方法。

背景技术

随着网络带宽的迅速提高以及前端监控设备向着数字化、高清化方向发展，对后端网络视频监控设备的视频处理能力提出了更高的要求。受单颗视频处理芯片能力的限制，传统的嵌入式网络视频处理设备处理能力偏低，不能适应市场对大路数高清视频处理的要求。为此，多芯片的级联视频设备成为解决这个问题的一个热门研究方向。

多芯片的级联视频设备，即多个嵌入式处理芯片通过PCI、BT1120等技术手段级联在一起，使得单台嵌入式视频处理设备的数据处理能力成倍增加，例如，单片嵌入式芯片的视频数据的处理能力是能同时编码或解码6路1920x1080分辨率的视频流，而N（N >= 2）片这样的嵌入式芯片级联以后就能达到同时处理6N路1920x1080分辨率视频流的能力。目前，嵌入式视频处理设备的级联技术包括PCI级联和VI/VO级联，PCI级联即在PCI总线上挂载多个带有PCI接口的芯片，芯片之间通过PCI总线进行数据传输。VI/VO级联即多个处理芯片通过BT1120接口首尾相连，后一个芯片的视频输出作为前一个芯片的视频输入。但是，级联后的视频处理设备普遍存在系统不稳定、视频数据传输抖动、解码视频画面花屏和卡顿等问题。

发明内容

本发明提供一种级联视频设备及其数据处理方法，旨在平抑多处理器级联设备中由视频传输所造成的抖动，解决视频解码过程中存在的画面花屏和卡顿问题，保证级联视频设备在无人值守的情况下解码视频画面能长时间流畅稳定地显示输出。

本发明的目的是这样实现的：

综合使用心跳技术和软硬件看门狗技术，保障级联设备的主从单元运行的可靠性。统一管理级联设备主从单元的资源，在级联主从单元间负载均衡地分配解码任务，监控这些任务，提高级联设备的异常处理能力。自动调整级联视频单元数据发送的缓冲大小和发送频率，保证数据在PCI总线上传输的连贯性和及时性。在级联视频从单元中，实时计算每路视频流的帧率，根据视频帧率动态地调整解码时间戳，并根据时间戳和包序号排序重组每个完整的视频帧，然后再将其进行解码显示。

一、级联视频设备

本设备包括级联视频主单元、级联视频从单元、网络接口、PCI总线和BT1120总线；

级联视频主单元包括级联主DDR存储器、级联主NandFlash存储器和级联主CPU，级联DDR存储器和级联主NandFlash存储器分别与级联主CPU连接；

级联视频从单元包括级联从DDR存储器、级联从NandFlash存储器和级联从CPU，级联从DDR存储器和级联从NandFlash存储器分别与级联从CPU连接；

网络接口、级联主CPU、PCI总线、级联从CPU、BT1120总线和级联主CPU依次连接。

二、数据处理方法 

①启动级联视频主单元，加载级联视频从单元的系统程序，同时开启级联主CPU的主监控单元；

②级联视频主从单元完成握手协商过程，级联视频主单元初始化级联视频从单元的运行环境；

③级联视频主单元接收网络视频流，采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到级联视频从单元；

④级联视频从单元接收PCI视频流，解析出媒体流的负载类型，根据协议的特性实现视频流格式转换，然后针对不同厂家、不同标准类型的视频数据进行排序和组帧；

⑤级联视频从单元动态计算每路视频流的帧率，根据视频帧率动态调整解码时间戳，然后送入从H264解码单元；

⑥从H264解码单元完成视频画面的分割和拼接，然后通过BT1120总线回传到级联视频主单元；

⑦级联视频主单元通过BT1120总线接收级联视频从单元的YUV422的视频数据，重新进行画面拼接后显示输出；

⑧重复步骤③～⑦，可以显示流畅的视频画面。

本发明具有下列优点和积极效果：

①使级联视频设备在无人值守的情况下具有高可靠性和免维护性；

②使级联视频设备及时地处理系统故障，降低了设备故障恢复时间；

③能提高级联视频设备解码画面的及时性和流畅性。

附图说明

图1是级联视频设备的结构方框图；

图2是本方法的工作流程图；

图3是本方法步骤①的工作流程图；

图4是本方法步骤③的工作流程图；

图5是本方法步骤⑤的工作流程图。

图中：

100—级联视频设备，

   110—级联视频主单元，           120—级联视频从单元，

      111—级联主DDR存储器，          121—级联从DDR存储器，

112—级联主NandFlash存储器，    122—级联从NandFlash存储器，

113—级联主CPU，                 123—级联从CPU，

    113A—主系统监控单元，           123A—从系统监控单元，

113C—主数据发送单元，           123C—从数据接收单元，

113B—主H264编码单元，          123B—从H264编码单元，

113D—主视频显示单元，           123D—从视频显示单元；

        101—网络接口，

102—PCI总线，

103—BT1120总线。

具体实施方式

下面结合附图和实施例详细说明：

一、视频级联设备

1、总体

如图1，本设备包括级联视频主单元110、级联视频从单元120、网络接口101、PCI总线102和BT1120总线103；

级联视频主单元110包括级联主DDR存储器111、级联主NandFlash存储器112和级联主CPU113，级联DDR存储器111和级联主NandFlash存储器112分别与级联主CPU113连接；

级联视频从单元120包括级联从DDR存储器121、级联从NandFlash存储器122和级联从CPU123，级联从DDR存储器121和级联从NandFlash存储器122分别与级联从CPU123连接；

网络接口101、级联主CPU113、PCI总线102、级联从CPU123、BT1120总线103和级联主CPU113依次连接。

2、功能部件

* 级联主CPU113和级联从CPU123都是使用海思半导体有限责任公司的HI3531多媒体视频处理芯片，该芯片采用ARM9双核架构，最高工作频率是930MHz，具有同时解码6路1920x1080分辨率的H264码流，且具有多芯片级联的功能。

本发明的数据处理方法工作在2片多媒体视频处理芯片中。

级联主CPU113包括主监控单元113A、主数据发送单元113B、主H264解码单元113C和主视频显示单元113D；

级联从CPU123包括从监控单元123A、从数据接收单元123B、从H264解码单元123C、和从视频显示单元123D。

* 其它功能部件均为通用件。

3、工作机理

级联视频主单元110通过网络接口101接收网路视频数据，将部分数据在级联视频主单元110中解码输出，同时将其它的视频数据通过PCI总线102传输到级联视频从单元120；级联视频从单元120接收到视频数据以后，除了本地显示输出外，还通过BT1120总线103将解码视频数据回传到级联视频主单元110；级联视频主单元110进行画面切割和拼接以后显示输出。

二、基于级联视频设备的数据处理方法（简称方法）

如图1、2，本方法包括下列步骤： 

①启动级联视频主单元110，加载级联视频从单元120的系统程序，同时开启级联主CP113的主监控单元113A；

②级联视频主单元110和级联视频从单元120完成握手协商过程，级联视频主单元110初始化级联视频从单元120的运行环境；

③级联视频主单元110接收网络视频流，采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到视频级联从单元120；

④级联视频从单元120接收PCI视频流，解析出媒体流的负载类型，根据协议的特性实现视频流格式转换，然后针对不同厂家和不同标准类型的视频数据进行排序和组帧；

⑤级联视频从单元120动态计算每路视频流的帧率，根据视频帧率动态调整解码时间戳，然后送入从H264解码单元123D；

⑥从H264解码单元123D完成视频画面的分割和拼接，然后通过BT1120总线103回传到级联视频主单元110；

⑦级联视频主单元110通过BT1120总线103接收级联视频从单元120的YUV422的视频数据，重新进行画面拼接后显示输出；

⑧重复步骤③～⑦，可以显示流畅的视频画面。

1、如图3，所述的步骤①包括含下列子步骤：

A、启动级联视频主单元-301；

B、判断是否收到级联视频主从单元的监控消息-302，是则进入步骤C，否则继续执行步骤B；

C、分下列三种情况：

C1、处理软硬件看门狗消息-303，重启级联视频设备-304；

C2、处理级联视频从单元的心跳消息-305，复位级联视频从单元-306；

C3、处理级联视频设备的异常消息-307，释放异常单元所占资源，重新启动相关功能单元-308。

2、如图4，所述的步骤③包括下列子步骤：

A、级联视频主单元开始-400；

B、在级联视频主单元上获取和量化N个级联视频从单元的资源-401；

C、分下列三种情况：

C1、管理级联视频从单元的资源-402，从资源数使用最少的级联视频从单元中获取资源-404，或者释放资源给相应的级联视频从单元-407；

C2、申请级联视频从单元的资源-403，判断是否获取级联视频从单元的资源-405，是则在级联视频从单元进行视频数据处理-406，否则继续获取级联视频从单元的资源-405；

C3、获取级联视频从单元的状态-408，判断是否有级联视频主从单元异常-409，是则消除级联视频从单元的总可用资源数410后再申请级联视频从单元的资源-403；否则继续获取级联视频从单元的状态-408。

3、如图5，所述的步骤⑤包括下列子步骤：

A、启动级联视频从单元-501；

B、判断当前缓冲区的长度加上视频包长度是否大于等于接收缓冲区的长度，或者接收缓冲区中数据存放的时间大于等于某一最大时间-502，是则进入步骤C，否则继续执行步骤B；

C、对接收到的小包进行排序和归并-503；

D、判断是否接收到完整帧-504，是则进入步骤E，否则跳转到步骤B；

E、判断是否为国标数据帧-505，是则进入步骤F，否则跳转到步骤G；

F、分离包中的音频和视频数据-506；

G、弹出完整的音视频帧，送入视频数据处理模块-507；

H、计算动态解码时间戳-508；

I、视频解码输出-509。

Claims (6)

1.一种级联视频设备，其特征在于：

包括级联视频主单元（110）、级联视频从单元（120）、网络接口（101）、PCI总线（102）和BT1120总线（103）；

级联视频主单元（110）包括级联主DDR存储器（111）、级联主NandFlash存储器（112）和级联主CPU（113），级联DDR存储器（111）和级联主NandFlash存储器（112）分别与级联主CPU（113）连接；

级联视频从单元（120）包括级联从DDR存储器（121）、级联从NandFlash存储器（122）和级联从CPU（123），级联从DDR存储器（121）和级联从NandFlash存储器（122）分别与级联从CPU（123）连接；

网络接口（101）、级联主CPU（113）、PCI总线（102）、级联从CPU（123）、BT1120总线（103）和级联主CPU（113）依次连接。

2.按权利要求1所述的一种级联视频设备，其特征在于：

所述的级联主CPU（113）和级联从CPU（123）都是多媒体视频处理芯片；

级联主CPU（113）包括主监控单元（113A）、主数据发送单元（113B）、主H264解码单元（113C）和主视频显示单元（113D）；

级联从CPU123包括从监控单元（123A）、从数据接收单元（123B）、从H264解码单元（123C）和从视频显示单元（123D）。

3.一种基于权利要求1所述级联视频设备的数据处理方法，其特征在于包括下列步骤： 

①启动级联视频主单元（110），加载级联视频从单元（120）的系统程序，同时开启级联主CP113的主监控单元（113A）；

②级联视频主单元（110）和级联视频从单元（120）完成握手协商过程，级联视频主单元（110）初始化级联视频从单元（120）的运行环境；

③级联视频主单元（110）接收网络视频流，采用基于视频传输通道分组的负载均衡方法自适应地将视频数据平滑地传输到视频级联从单元（120）；

④级联视频从单元（120）接收PCI视频流，解析出媒体流的负载类型，根据协议的特性实现视频流格式转换，然后针对不同厂家和不同标准类型的视频数据进行排序和组帧；

⑤级联视频从单元（120）动态计算每路视频流的帧率，根据视频帧率动态调整解码时间戳，然后送入从H264解码单元（123D）；

⑥从H264解码单元（123D）完成视频画面的分割和拼接，然后通过BT1120总线（103）回传到级联视频主单元（110）；

⑦级联视频主单元（110）通过BT1120总线（103）接收级联视频从单元（120）的YUV422的视频数据，重新进行画面拼接后显示输出；

⑧重复步骤③～⑦，可以显示流畅的视频画面。

4.按权利要求3所述的数据处理方法，其特征在于所述的步骤①包括含下列子步骤：

a、启动级联视频主单元（301）；

b、判断是否收到级联视频主从单元的监控消息（302），是则进入步骤c，否则继续执行步骤B；

c、分下列三种情况：

c1、处理软硬件看门狗消息（303），重启级联视频设备（304）；

c2、处理级联视频从单元的心跳消息（305），复位级联视频从单元（306）；

c3、处理级联视频设备的异常消息（307），释放异常单元所占资源，重新启动相关功能单元（308）。

5.按权利要求3所述的数据处理方法，其特征在于步骤③包括下列子步骤：

Ⅰ、级联视频主单元开始（400）；

Ⅱ、在级联视频主单元上获取和量化N个级联视频从单元的资源（401）；

Ⅲ、分下列三种情况：

Ⅲ1、管理级联视频从单元的资源（402），从资源数使用最少的级联视频从单元中获取资源（404），或者释放资源给相应的级联视频从单元（407）；

Ⅲ2、申请级联视频从单元的资源（403），判断是否获取级联视频从单元的资源（405），是则在级联视频从单元进行视频数据处理（406），否则继续获取级联视频从单元的资源-405；

Ⅲ3、获取级联视频从单元的状态（408），判断是否有级联视频主从单元异常（409），是则消除级联视频从单元的总可用资源数（410）后再申请级联视频从单元的资源（403）；否则继续获取级联视频从单元的状态（408）。

6.按权利要求3所述的数据处理方法，其特征在于所述的步骤⑤包括下列子步骤：

A、启动级联视频从单元（501）；

B、判断当前缓冲区的长度加上视频包长度是否大于等于接收缓冲区的长度，或者接收缓冲区中数据存放的时间大于等于某一最大时间（502），是则进入步骤C，否则继续执行步骤B；

C、对接收到的小包进行排序和归并（503）；

D、判断是否接收到完整帧（504），是则进入步骤E，否则跳转到步骤B；

E、判断是否为国标数据帧（505），是则进入步骤F，否则跳转到步骤G；

F、分离包中的音频和视频数据（506）；

G、弹出完整的音视频帧，送入视频数据处理模块（507）；

H、计算动态解码时间戳（508）；

I、视频解码输出（509）。

Images