CN101888378B

CN101888378B - 基于电话网、广电网和互联网的多屏幕融合系统及其方法

Info

Publication number: CN101888378B
Application number: CN 201010207708
Authority: CN
Inventors: 刘硕; 林善和; 高计丰
Original assignee: Fujian Star Net Communication Co Ltd
Current assignee: Fujian Star Net Communication Co Ltd
Priority date: 2010-06-23
Filing date: 2010-06-23
Publication date: 2013-07-03
Anticipated expiration: 2030-06-23
Also published as: CN101888378A

Abstract

基于电话网、广电网和互联网的多屏幕融合系统及其方法，包括三网融合全业务多媒体家庭网关，以及与其进行数据交互的信息终端和显示设备；所述三网融合全业务多媒体家庭网关包括核心控制模块、PSTN接入模块、视频处理输出模块、以太网接入模块；所述三网融合全业务多媒体家庭网关软件部分还包括固移融合多媒体信息处理子系统；该子系统包含移动/无线网络多媒体信息接入模块、媒体信息处理模块以及媒体分发模块，分别负责无线网络的多媒体信息接入预处理，多媒体信息的必要分拣、解包、解码、转换处理和屏幕媒体信息分发输出。本发明可实现各种信息终端和显示设备的信息交互问题，实现跨网、跨设备的多屏幕融合。

Description

基于电话网、广电网和互联网的多屏幕融合系统及其方法

【技术领域】

本发明属于信息技术领域，特别是指一种基于电话网、广电网和互联网的多屏幕融合系统及其方法。

【背景技术】

随着通讯、广电、网络行业的发展，全网融合已经成为一种必然的趋势。当前已有很多设备实现了通讯网、广电网和互联网等多网络的融合，解决了多网融合的数据业务通讯问题，但仍然存在业务单一、功能同质化、固移融合未体现等诸多问题。

现有技术仅解决了通讯网、广电网和互联网的数据通讯问题，各个单网虽然承载的业务多样，但是基于融合网开展的技术却仅有语音业务和简单数据通讯业务，很多高级业务、附加业务和增值业务均未能充分在多网融合的背景下充分开展：如跨网视频通话、跨设备的屏幕融合等。

【发明内容】

本发明所要解决的技术问题之一在于提供一种基于电话网、广电网和互联网的多屏幕融合系统，实现各种信息终端如手机、MID、NB等和信息终端屏幕、机顶盒、各种电视屏幕、互联网终端屏幕、投影仪等各种显示设备的信息交互问题，实现跨网、跨设备的多屏幕融合。

本发明所要解决的技术问题之二在于提供一种基于电话网、广电网和互联网的多屏幕融合方法，实现各种信息终端如手机、MID、NB等和信息终端屏幕、机顶盒、各种电视屏幕、互联网终端屏幕、投影仪等各种显示设备的信息交互问题，实现跨网、跨设备的多屏幕融合。

本发明采用以下技术方案解决上述技术问题之一：

基于电话网、广电网和互联网的多屏幕融合系统，其特征在于：包括三网融合全业务多媒体家庭网关，以及与其进行数据交互的信息终端和显示设备；所述三网融合全业务多媒体家庭网关包括核心控制模块、PSTN接入模块、视频处理输出模块、以太网接入模块；

所述三网融合全业务多媒体家庭网关软件部分包括核心控制模块、数据路由模块、多网接入控制模块以及多媒体处理模块，还包括固移融合多媒体信息处理子系统；该子系统包含移动/无线网络多媒体信息接入模块、媒体信息处理模块以及媒体分发模块，分别负责无线网络的多媒体信息接入预处理，多媒体信息的必要分拣、解包、解码、转换处理和屏幕媒体信息分发输出。

所述信息终端包括手机、MID、NB。

所述显示设备包括数字电视、机顶盒、互联网电视、投影仪。

所述无线网络包括WLAN、GSM、GPRS、CDMA。

本发明采用以下技术方案解决上述技术问题之二：

基于电话网、广电网和互联网的多屏幕融合方法，其特征在于：包括如下步骤：

步骤一：信息终端启用相应的屏幕获取程序，该程序和三网融合全业务多媒体家庭网关进行会话协商确认媒体属性和会话属性；

步骤二：屏幕获取程序媒体处理子程序需实时获取屏幕信息并打包成实时的RTP码流，编码格式按照会话的协商结果；

步骤三：根据会话信令的协商结果按照指定的编码格式向三网融合全业务多媒体家庭网关发送实时视频码流；

步骤四：三网融合全业务多媒体家庭网关根据会话信令启用相应的媒体子系统的信息接入模块，并启用相应的信息处理模块；

步骤五：信息处理模块将信息接入模块收到的事实RTP码流进行指定的解码，还原出原始的屏幕信息视频流；

步骤六：多媒体分发模块将还原的屏幕信息视频流按照配置从指定的视频显示模块输出；

步骤七：显示设备从接驳的视频输入端显示收到的视频信号从而实时显示信息终端的屏幕信息。

所述信息终端包括手机、MID、NB。

本发明的优点在于：同时可接入多种网络：如电话网、广电网和互联网，并同时和多个信息终端进行信息交互，融合屏幕显示信息，如手机、MID、NB(笔记本电脑)、PAD以及机顶盒、数字电视、互联网电视、投影仪等，表现为多屏幕内容可以进行指定方式的融合或者交互。

【附图说明】

下面参照附图结合实施例对本发明作进一步的描述。

图1是本发明硬件逻辑框图。

图2是本发明软件逻辑框图。

图3是本发明工作过程流程图。

【具体实施方式】

一种基于电话网、广电网和互联网的多屏幕融合系统，如图1所示，该系统的核心硬件设备为三网融合全业务多媒体家庭网关，它包含了核心控制模块、PSTN(FXS/FXO/E1)接入模块、视频处理输出模块(IPTV)、以太网接入模块(SWITCH/WIFI)等；其余交互的信息终端或显示设备诸如手机、数字电视等均属技术实现附属设备。

该系统软件部分除了传统的综合业务家庭网关所必须的核心控制、数据路由、多网接入控制模块以及多媒体处理模块之外，核心为固移融合多媒体信息处理子系统。该子系统包含移动/无线网络多媒体信息接入模块、媒体信息处理模块以及媒体分发模块；分别负责WLAN/GSM/GPRS/CDMA等无线网络的多媒体信息接入预处理，多媒体信息的必要分拣、解包、解码、转换等处理和屏幕媒体信息分发输出。

信息终端将多屏幕融合的多媒体信息，如文字、图片或者视频等通过流媒体传输协议进行打包形成SRTP(安全实时传输协议)流，经过无线WIFI或者移动网络CDMA进行发送；三网融合全业务多媒体家庭网关通过特定的WIFI或者CDMA接入方式进行SRTP流媒体接收，经过分拣、解包、预处理、编解码等必要的操作后，通过软件屏幕媒体信息分发模块进行屏幕媒体信息的分发，最终通过制定接口如HDMI、RGB等将信息传输到指定信息显示终端上，如机顶盒、投影仪、网络数字电视等实现多网络多屏幕最终的融合交互。

具体的操作过程：

信息终端(手机、MID或者NB等等)将屏幕内容发送到多媒体家庭网关；

首先手机、MID和Notebook必须安装相应的屏幕信息处理软件，该软件定义为SPM(Screen Processing Module)。该模块收集实时的屏幕显示信息，类似于一个屏幕监控软件，将实时的屏幕显示信息截取并复制下来。对于手机和MID而言已经有相应的软件，x86架构上的高级显卡驱动程序(如NVIDIA和ATI的官方程序)也有自带的屏幕复制软件。

将截取的屏幕数据打包成固定的视频码流，当前默认的码流格式为H.264，承载协议为RTP。该部分的工作已经和屏幕信息没有关系，因为H.264编码以及RTP承载此时只关心承载的数据，数据是被看做视频数据来传输的。对应于信令协议会话部分媒体属性描述的SDP中也体现的是视频流，编码为H.264。需要说明的是，这里会话协商的信令采用SIP，和通用的VoIP会话信令控制方式相同，因为不是本发明的关键，所以并不赘述。具体如下：

1.网络抽象层单元类型(NALU)

NALU头由一个字节组成，它的语法如下：

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|F|NRI| Type|

+---------------+

F：1个比特.

forbidden_zero_bit：在H.264规范中规定了这一位必须为0。

NRI：2个比特.

nal_ref_idc：取00～11，似乎指示这个NALU的重要性，如00的NALU解码器可以丢弃它而不影响图像的回放。不过一般情况下不太关心这个属性。

Type：5个比特.

nal_unit_type：这个NALU单元的类型。简述如下：

0 没有定义

1-23 NAL单元单个NAL单元包

24 STAP-A 单一时间的组合包

24 STAP-B 单一时间的组合包

26 MTAP16 多个时间的组合包

27 MTAP24 多个时间的组合包

28 FU-A 分片的单元

29 FU-B 分片的单元

30-31没有定义

2.打包模式

下面是RFC 3550中规定的RTP头的结构.

0 1 2 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|V＝2|P|X| CC |M| PT | sequence number |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| timestamp |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| synchronization source(SSRC)identifier |

+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝+＝

+＝+＝+＝+

| contributing source(CSRC)identifiers |

| ... |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

负载类型Payload type(PT)：7 bits

序列号Sequence number(SN)：16 bits

时间戳Timestamp：32 bits

H.264 Payload格式定义了三种不同的基本的负载(Payload)结构。接收端可能通过RTP Payload的第一个字节来识别它们。这一个字节类似NALU头的格式，而这个头结构的NAL单元类型字段则指出了代表的是哪一种结构，这个字节的结构如下，可以看出它和H.264的NALU头结构是一样的.

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|F|NRI| Type |

+---------------+

字段Type：这个RTP payload中NAL单元的类型.这个字段和H.264中类型字段的区别是，当type的值为24～31表示这是一个特别格式的NAL单元，而H.264中，只取1～23是有效的值.

24 STAP-A 单一时间的组合包

24 STAP-B 单一时间的组合包

26 MTAP16 多个时间的组合包

27 MTAP24 多个时间的组合包

28 FU-A 分片的单元

29 FU-B 分片的单元

30-31 没有定义

可能的结构类型分别有：

1.单一NAL单元模式

即一个RTP包仅由一个完整的NALU组成.这种情况下RTPNAL头类型字段和原始的H.264的NALU头类型字段是一样的。

2.组合封包模式

即可能是由多个NAL单元组成一个RTP包.分别有4种组合方式：STAP-A，STAP-B，MTAP16，MTAP24.那么这里的类型值分别是24，25，26以及27。

3.分片封包模式

用于把一个NALU单元封装成多个RTP包.存在两种类型FU-A和FU-B.类型值分别是28和29。

2.1单一NAL单元模式

对于NALU的长度小于MTU大小的包，一般采用单一NAL单元模式。

对于一个原始的H.264 NALU单元常由[Start Code][NALU Header][NALU Payload]三部分组成，其中Start Code用于标示这是一个NALU单元的开始，必须是″00 00 00 01″或″00 00 01″，NALU头仅一个字节，其后都是NALU单元内容.打包时去除″00 00 01″或″00 00 00 01″的开始码，把其他数据封包成RTP包即可.

0 1 2 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|F|NRI| type | |

+-+-+-+-+-+-+-+-+ |

| |

| Bytes 2..n of a Single NAL unit |

| |

| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| ：...OPTIONAL RTP padding |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

如有一个H.264的NALU是这样的：

[00 00 00 01 67 42 A0 1E 23 56 0E 2F ...]

这是一个序列参数集NAL单元.[00 00 00 01]是四个字节的开始码，67是NALU头，42开始的数据是NALU内容封装成RTP包将如下：

[RTP Header][67 42 A0 1E 23 56 0E 2F]

即只要去掉4个字节的开始码就可以了。

2.2组合封包模式

其次，当NALU的长度特别小时，可以把几个NALU单元封在一个RTP包中。

0 1 2 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| RTP Header |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|STAP-ANALHDR | NALU 1 Size | NALU 1 HDR |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| NALU 1 Data |

：：

+ +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| |NALU 2 Size | NALU 2 HDR |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| NALU 2 Data |

| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| ：...OPTIONAL RTP padding |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

2.3 Fragmentation Units(FUs).

而当NALU的长度超过MTU时，就必须对NALU单元进行分片封包.也称为Fragmentation Units(FUs).

0 1 2 3

0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

|FU indicator| FU header | |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |

| |

| FU payload |

| |

| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

| ：...OPTIONAL RTP padding |

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Figure 14.RTP payload format for FU-A

The FU indicator octet has the following format：

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|F|NRI| Type |

+---------------+

The FU header has the following format：

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|S|E|R| Type |

+---------------+

3.SDP参数

下面描述了如何在SDP中表示一个H.264流：

.″m＝″行中的媒体名必须是″video″

.″a＝rtpmap″行中的编码名称必须是″H264″.

.″a＝rtpmap″行中的时钟频率必须是90000.

.其他参数都包括在″a＝fmtp″行中.

如：

m＝video 49170 RTP/AVP 98

a＝rtpmap：98 H264/90000

a＝fmtp：98 profile-level-id＝42A01E；sprop-parameter-sets＝Z0IACpZTBYmI，aMljiA＝＝

下面介绍一些常用的参数：

3.1 packetization-mode：

表示支持的封包模式.

当packetization-mode的值为0时或不存在时，必须使用单一NALU单元模式。

当packetization-mode的值为1时必须使用非交错(non-interleaved)封包模式。

当packetization-mode的值为2时必须使用交错(interleaved)封包模式。

这个参数不可以取其他的值。

3.2 sprop-parameter-sets：

这个参数可以用于传输H.264的序列参数集和图像参数NAL单元.这个参数的值采用Base64进行编码.不同的参数集间用″，″号隔开。

3.3 profile-level-id：

这个参数用于指示H.264流的profile类型和级别.由Base16(十六进制)表示的3个字节.第一个字节表示H.264的Profile类型，第三个字节表示H.264的Profile级别。

3.4 max-mbps：

这个参数的值是一个整型，指出了每一秒最大的宏块处理速度。

当RTP码流打包好后，该RTP流就和其他实时流媒体一样承载在IP网络上进行发送。而通常信息终端的IP网络物理端口有以太网802.3承载或者802.11WIFI承载，本发明中默认选取无线WIFI作为传输方式，将RTP码流向多媒体家庭网关发出。

多媒体家庭网关将接收到的数据处理后通过视频处理模块输出。

同信息终端的发送流程，对应于多媒体家庭网关的接收流程，会话的信令控制仍然采用SIP协议，会话的媒体描述采用SDP，媒体承载采用RTP，屏幕视频流的编码格式采用H.264。多媒体家庭网关的接收核心为固移融合多媒体信息处理子系统。该子系统包含移动/无线网络多媒体信息接入模块、媒体信息处理模块以及媒体分发模块；分别负责WLAN/GSM/GPRS/CDMA等无线网络的多媒体信息接入预处理，多媒体信息的必要分拣、解包、解码、转换等处理和屏幕媒体信息分发输出。

无线网络多媒体信息接入模块这里典型的默认为WLAN，即802.11WIFI网络，多媒体网关通过该物理端口接收到信息终端发来的RTP实时流媒体(这里假设会话已经协商好，即SIP和SDP信令交互的部分如同前面所述，不再赘述。)，媒体处理和分发模块对收到的RTP流媒体进行必要的分拣、解包、解码和转换。

对于提取出来的视频流选择性地根据配置从指定的视频显示模块(如RGB输出或者HDMI输出)等视频端子输出。

本发明具体工作流程图如图3所示：

信息终端(如笔记本、MID或者手机等等)启用相应的屏幕获取程序，该程序和目标多媒体网关进行会话协商确认媒体属性和会话属性。

屏幕获取程序媒体处理子程序需实时获取屏幕信息并打包成实时的RTP码流，编码格式按照会话的协商结果(默认为H.264)。

根据会话信令(比如SIP)的协商结果按照(如SDP)指定的编码格式向目标设备(多媒体家庭网关)发送实时视频码流(默认物理承载为WIFI802.11)；

多媒体网关根据会话信令(如SIP)启用相应的媒体子系统的信息接入模块，并启用相应的信息处理模块；

信息处理模块将信息接入模块收到的事实RTP码流进行(如SDP协议)指定的解码，还原出原始的屏幕信息视频流；。

多媒体分发模块将欢颜的屏幕信息视频流按照配置从指定的视频显示模块输出(如RGB端口或者HDMI端口)；

显示设备(数字电视、显示器、投影仪等等)从接驳的视频输入端显示收到的视频信号从而实时显示信息终端的屏幕信息。

本发明同时可接入多种网络：如电话网、广电网和互联网，并同时和多个信息终端进行信息交互，融合屏幕显示信息，如手机、MID、NB(笔记本电脑)、PAD以及机顶盒、数字电视、互联网电视、投影仪等，表现为多屏幕内容可以进行指定方式的融合或者交互。

Claims

1.基于电话网、广电网和互联网的多屏幕融合系统，其特征在于：包括三网融合全业务多媒体家庭网关，以及与其进行数据交互的信息终端和显示设备；所述三网融合全业务多媒体家庭网关包括核心控制模块、PSTN接入模块、视频处理输出模块、以太网接入模块；

所述三网融合全业务多媒体家庭网关软件部分包括核心控制模块、数据路由模块、多网接入控制模块以及多媒体处理模块，还包括固移融合多媒体信息处理子系统；

所述信息终端将多屏幕融合的多媒体信息通过流媒体传输协议进行打包形成SRTP流，即安全实时传输协议流，经过无线WIFI或者移动网络CDMA进行发送；其中所述多媒体信息包括文字、图片或者视频；

所述三网融合全业务多媒体家庭网关通过特定的WIFI或者CDMA接入方式进行SRTP流媒体接收，经过分拣、解包、预处理、编解码操作后，通过软件屏幕媒体信息分发模块进行屏幕媒体信息的分发，最终通过制定接口将信息传输到指定信息显示终端上，实现多网络多屏幕最终的融合交互；

所述信息终端安装相应的屏幕信息处理软件，该屏幕信息处理软件收集实时的屏幕显示信息，将实时的屏幕显示信息截取并复制下来；将截取的屏幕数据打包成固定的视频码流，该视频码流以RTP格式进行封装；当RTP码流打包好后，该RTP码流就和其他实时流媒体一样承载在IP网络上向所述多媒体家庭网关进行发送；多媒体家庭网关将接收到的数据处理后通过视频处理模块输出；

所述固移融合多媒体信息处理子系统，包含移动/无线网络多媒体信息接入模块、媒体信息处理模块以及媒体分发模块；分别负责WLAN/GSM/GPRS/CDMA无线网络的多媒体信息接入预处理，多媒体信息的必要分拣、解包、解码、转换等处理和屏幕媒体信息分发输出；

所述无线网络多媒体信息接入模块为WLAN，多媒体家庭网关通过该接入模块的物理端口接收到信息终端发来的RTP实时流媒体，媒体处理和分发模块对收到的RTP流媒体进行必要的分拣、解包、解码和转换；对于提取出来的视频流选择性地根据配置从指定的视频显示模块输出。

2.如权利要求1所述的基于电话网、广电网和互联网的多屏幕融合系统，其特征在于：所述信息终端包括手机、MID、NB。

3.如权利要求1所述的基于电话网、广电网和互联网的多屏幕融合系统，其特征在于：所述显示设备包括数字电视、机顶盒、互联网电视、投影仪。

4.如权利要求1所述的基于电话网、广电网和互联网的多屏幕融合系统，其特征在于：所述无线网络包括WLAN、GSM、GPRS、CDMA。

5.基于电话网、广电网和互联网的多屏幕融合方法，其特征在于：包括如下步骤：

步骤五：信息处理模块将信息接入模块收到的实时RTP码流进行指定的解码，还原出原始的屏幕信息视频流；

6.如权利要求5所述的基于电话网、广电网和互联网的多屏幕融合方法，其特征在于：所述信息终端包括手机、MID、NB。

7.如权利要求5所述的基于电话网、广电网和互联网的多屏幕融合方法，其特征在于：所述显示设备包括数字电视、机顶盒、互联网电视、投影仪。