CN103248956A - 一种多屏协作模式的智能家庭视频业务的实现方法及系统 - Google Patents

Abstract

本发明公开了一种多屏协作模式的智能家庭视频业务的实现方法与系统，其中一方法实施例包括：用户组的建立；用户状态的存储；各个客户端之间的通信模式定义；客户端角色和功能的定义；各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。本发明用于结合视频业务新的业务模式需求，解决了对于视频广播模式控制较少，目前的三屏互动解决方案对于新的视频业务模式并未达到完全的支持效果的问题。

Description

一种多屏协作模式的智能家庭视频业务的实现方法及系统

技术领域

本发明属于计算机技术领域，特别地涉及多屏协作模式的智能家庭视频业务的实现方法及系统。

背景技术

近几年，互联网视频资源越来越丰富，由此，将互联网影视资源与电视机结合在一起的想法开始出现。在中国，国产彩电企业竞相推出互联网电视，希望借助全新的电视模式抢占市场。2009年，TCL、创维、海尔、长虹和海信等国内厂商集中推出了多款互联网电视。据Display研究数据表明，2011年，中国智能电视销售量约为400万台，而2012年中国(大陆)销售量达1675万台，是2011年销售量的4倍多。2012年Smart TV的渗透率也达到了37％。2013年预计销量将达2604万台，产品渗透率将达50％，2015年智能电视将超过90％。

目前智能电视所搭载的处理系统主要包括android，IOS或者其他移动操作系统，通过这些操作系统的搭建，可以使智能电视具有一定的数据处理和可寻址能力，实现了智能电视终端与网络数据之间的交互。但是，由于智能电视目前搭载的大部分操作系统都是面向于移动设备，如智能手机、平板电脑所设计开发的，大部分应用也移植于移动智能终端，在操控性能、运行模式与智能电视自身特点存在着以下的缺陷：

1)触屏的移动终端交互模式受制于智能电视硬件配置

目前，移动智能终端在交互模式的设计上大部分采用触屏的方式，能够为用户提供良好的交互设计体验，但是一方面，由于触屏面板成本较高，对于智能电视这一以大屏幕作为核心的设备来说，将会大大的提高设备的制造成本，也降低了用户的购买意愿；另一方面，对于做为客厅中心的智能电视来说，触屏化的操作方式也会影响用户的操作体验，与电视其休闲性、娱乐性的特点不相符合。

2)鼠标+键盘的PC交互模式受制于智能电视操作系统

基于触屏在智能电视硬件配置上的制约，部分智能电视厂家在智能电视交互控制上采用PC机的鼠标+键盘的操作模式，但是由于android、IOS等移动智能终端操作系统在内部以Activity作为应用服务的承载工具，以堆栈的形式进行Activity容器的队列控制，只能进行单界面呈现，与PC的多窗口多任务的界面不同，因而基于鼠标+键盘的PC交互模式移植到智能电视在应用特性上将会受到一定的制约；同时，对于电视的传统用户群老人以及家庭主妇来说，他们已经相对熟悉了传统电视的遥控器加上屏幕的收看方式，对于计算机类的鼠标+键盘模式熟悉程度较低，特别是对于通过智能电视的遥控器进行传统的计算机交互手段的操作模式，将会给这部分用户的操作带来了比较严重的问题，也会在一定的程度上降低了此类用户对于智能电视的兴趣，影响智能电视的发展。

3)遥控器的普通电视交互模式受制于智能电视的操作习惯

对于目前智能电视标准配置情况下，其可以借助于自身携带的遥控器进行电视终端的一些简单性交互操作，以红外传感的方式，通过遥控器的方向键捕捉智能电视操作界面中的控件焦点，以相应的按键模拟触屏点击操控。这一交互模式对于简单用户界面操作较为方便，但是对于复杂交互界面来说，由于界面需要捕捉焦点较多，会导致操作过程更加反复，特别是对于复杂的多按键操作，如键盘模拟输入等，将会使用户无从下手。

通过以上的分析，目前智能电视的发展已经具有一定的规模，在操作系统、性能优化等方面已经较为成熟，但是其交互模式和交互手段设计上还存在着较为严重的问题，将会在一定程度上制约智能电视交互控制，也将对于新的电视购物模式的开展产生一定的影响，因而需要通过一定的第三方终端实现对于智能电视的控制、交互，以适应于当前智能电视操作系统和操作模式的方式，实现智能电视的控制应用。

同时三屏互动是“三网融合”技术中与百姓生活联系最紧密的部分；三网融合是通信行业发展的必然趋势，有利于实现网络资源的最大共享。从用户角度来看，他们可以不受环境的限制，利用手机、PC和电视等多种终端实现接入以获取他们想要的信息和体验，随时随地的使用互动业务。三屏互动扩大了产品的受众范围，提高了产品的实用性。

目前三屏互动较为成熟的包括乐视三屏技术解决方案、开博尔技术解决方案以及海信技术解决方案，其核心内容都是在视频内容主要包括以下几个方面：

1)三屏同看

三屏同看是指在不同的终端上为用户提供体验一致的业务，如在视频业务方面，可以为用户在不同终端上呈现相同的直播、点播内容，是用户对食品业务的使用跨越空间和终端的限制。

三屏同看还具体表现为“同看”和“接着看”。“同看”为用户在任意屏幕上订购的业务，在另外的屏幕上同样可以观看。“接着看”表现为给用户提供位移的方便，计算哟过户在一个屏幕上正在看的内容在另外屏幕上可以接着看，实现三屏之间的无缝切换。

2)三屏互动

三屏互动是指三屏之间的业务可以实现完全互通，用户对业务的使用及用户间的沟通完全突破了时间、空间、终端及内容的限制，实现业务在3个屏幕上的互通与共享，用户可以实现手机屏、PC屏、TV屏的无缝切换，内容的互相推荐等。

通过以上的分析可以看出，目前对于三屏互动的实现上，主要集中在视频终端切换、视频内容简单控制等方面内容，而且在承载内容上也大部分面向视频点播模式，对于视频广播模式(直播模式)控制较少，因而目前的三屏互动解决方案对于新的视频业务模式并未达到完全的支持效果。

发明内容

为解决上述问题，本发明的目的在于提供一种多屏协作模式的智能家庭视频业务的实现方法，用于结合视频业务新的业务模式需求，通过从用户使用习惯、内容承载方式、通信方式等方面进行改进，解决了对于视频广播模式控制较少，因而目前的三屏互动解决方案对于新的视频业务模式并未达到完全的支持效果的问题。

本发明的又一目的在于提供一种多屏协作模式的智能家庭视频业务的实现系统。

为实现上述目的，本发明的技术方案为：

一种多屏协作模式的智能家庭视频业务的实现方法，包括以下步骤：

S10，用户组的建立，通过用户登录信息、外设用户识别设备，通过对于用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

S20，用户状态的存储，客户端在登录后，客户端读取并比较智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，若智能设备的参数有更新则将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

S30，各个客户端之间的通信模式定义，以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信；

S40，客户端角色和功能的定义，以智能电视作为主视频终端，主要实现实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端，通过这样的设计，各个终端在整个电子商务活动中构成一个整体，能够发挥各个终端的操控、安全等方面的优势，提高用户的使用体验；

S50，各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

优选地，S10中所述的登录验证的具体步骤为：

在智能终端注册单元中，当用户输入用户名和密码后，点击登录，向服务端webservice提交用户名和密码进行验证，当验证失败，给予用户提示；验证成功，用户登录。

优选地，S20中所述的客户端智能设备信息采集的具体步骤为：

当用户验证成功后，客户端验证模块首先读取客户端设备的屏幕大小、分辨率以及网络参数，并与客户端设备内所存储的客户端设备、网络信息存储单元进行比较，如果客户端设备上没有设备、网络信息存储单元或者是设备网络信息存储单元与设备参数不同，客户端主程序将会调用客户端参数采集模块，读取智能终端的底层设备信息，调用相应的服务，将智能终端的相关信息写入到服务器端与该用户对应的客户端存储状态文件中。

优选地，S30中所述的套接字socket通信描述的具体步骤为：

每个客户终端起一个线程去建立一个tcp server socket，并不断监听其它终端的连接和接收发送过来的消息，当同组中的某个客户端需要和其它客户端交互时，这个客户端先调用相应的服务并传递一定的信息，然后相应的服务根据信息去连接需要接收指令消息的客户端之前建立的tcp server，并将指令消息发送给客户端，客户端接收到指令消息后进行相应的处理。

优选地，S30中所述的服务器中继通信描述的具体步骤为：

相应的客户端调用服务器端相应的web服务，以时间、时间编号或者其他变量作为参数，并同时通过客户端建立起一个线程监听服务器端所返回的数据；服务器端根据客户端所提交的请求，调用的相应的web服务组合，进行web处理，并将处理结果以消息的形式返回给其他客户端的监听接口，其他客户端在接收到客户端消息后，进行相应的响应处理。

优选地，S30中所述的通信模式智能化选择的具体步骤为：

在客户端程序内，对于客户端常用的数据请求类型进行存储，并根据实际的情况进行数据处理过程分析分类，划分为socket通信方式以及服务器中继通信方式；在客户端调用相应的指令时，客户端指令控制模块会自动的根据指令的内容在指令控制分类数据存储单元中查找相应的类别以及其通信定义方式，在确定通信定义方式后，客户端建立相应的线程，与组内其他客户端或者是服务器进行数据通信。

优选地，S50中所述的服务器中继通信描述的具体步骤为：

在各个终端的信息同步的实现上，采用基于RTSP的时间戳标记方式实现。首先，根据视频内容建立视频节目流的EPG信息，建立视频相关信息的时间戳标记序列，在服务器端建立与之对应的节目时间戳事件列表；

在客户端在进行流媒体直播流解析和播放的过程中，当客户端流媒体解析框架在接收到流媒体流时接收到时间戳信息时，提取时间戳中所包含的媒体同步事件的相关信息，并以同步事件信息作为参数，实现同一组内其他客户端之间的通信模式的建立，进而使同一组内各个客户端的视频内容与相关信息同步。

优选地，在S50后进一步包括S60，更多的功能模块的设置，具体包括以下步骤：

S601，购物模块的设置

用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在功能终端上点击相应的购买按钮，触发相应的商品购买事件，以功能端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

S602，娱乐模块的设置

用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

S603，教育模块的设置

用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

一种多屏协作模式的智能家庭视频业务的实现系统，包括若干个客户终端和服务器终端，所述客户终端端设置在智能电视，智能手机，平板电脑和计算机的智能设备上，所述服务器终端设置在服务器上，

所述客户端用于通过用户登录信息、外设用户识别设备，通过对于用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

客户端在登录后，所述客户端用于读取智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

其中各个客户端之间的通信模式，以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信；以智能电视作为主视频终端，主要实现实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端，通过这样的设计，各个终端在整个电子商务活动中构成一个整体，能够发挥各个终端的操控、安全等方面的优势，提高用户的使用体验；各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

优选地，进一步包括设置的，

购物模块，用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在客户终端上点击相应的购买按钮，触发相应的商品购买事件，以功能端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

娱乐模块，用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

教育模块，用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

与现有技术相比，本发明具有以下有益效果：

1)新的多屏协作模式的设计

在传统的三屏交互技术应用模式的基础上，对于多屏系统中的各个智能终端依据其自身的设备特点进行角色划分，以智能电视作为主视频终端，主要实现实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个视频业务过程中的信息展示端，同步显示购物视频中的商品文字、图片等信息，同时兼顾控制功能；计算机端主要作为视频业务活动中的网络管理终端。通过这样的设计，各个终端在整个视频业务活动中构成一个整体，能够发挥各个终端的操控、安全等方面的优势，提高用户的购物体验

2)新的多屏终端交互模式的设计

在目前三屏互动技术解决方案的基础上进行技术方案的创新，以服务器数据通信中继和socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，一方面，解决在视频业务活动中对于数据复杂的处理，避免了需要在客户端进行复杂数据处理导致客户端运行效率下降的问题；另一方面，通过服务器端的数据验证的实现，也会在一定程度上保障了用户在视频业务应用过程中的安全性，避免用户的误操作或者非法侵入给用户带来不必要的损失。

3)基于EPG和时间戳技术的多屏同步实现

根据电视购物新的业务需求，本系统不同于传统的三屏系统中对于视频点播模式的同步控制实现。在实际多屏同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播操作的，而与视频对应的单个商品信息是以独立的信息模型存储于服务器端，在视频广播进行到不同的时间，将会调用不同的信息模型。在此的解决方案设计，以电视节目的EPG信息结合基于RTSP的时间戳标记方式，在各个媒体到达终端后，根据主媒体中的时间戳事件定时调用相应的产品信息，这样就很好地实现了不同媒体之间的同步。

附图说明

图1为本发明实施例的多屏协作模式的智能家庭视频业务的实现方法的步骤流程图；

图2为本发明又一实施例的多屏协作模式的智能家庭视频业务的实现方法的步骤流程图；

图3为本发明又一实施例的多屏协作模式的智能家庭视频业务的实现方系统的框图。

具体实施方式

参考图1，所示为本发明一实施例的多屏协作模式的智能家庭视频业务的实现方法流程图，用户终端设置在如客户端设置在智能电视，智能手机，平板电脑和计算机，服务器端设置在服务器上，服务器和客户端通过网络进行通信，其包括以下步骤：

S10，用户组的建立，

通过用户登录信息、外设用户识别设备，通过对于用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

具体地，在智能终端用户终端的注册单元中，当用户输入用户名和密码后，点击登录，向服务端webservice提交用户名和密码进行验证，当验证失败，给予用户提示；验证成功，用户登录。

S20，用户状态的存储，客户端在登录后，客户端读取智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

客户端智能设备信息采集的具体步骤为：当用户验证成功后，客户端验证模块首先读取客户端设备的屏幕大小、分辨率以及网络参数，并与客户端设备内所存储的客户端设备、网络信息存储单元进行比较，如果客户端设备上没有设备、网络信息存储单元或设备网络信息存储单元与设备参数不同，客户端主程序将会调用客户端参数采集模块，读取智能终端的底层设备信息，调用相应的服务，将智能终端的相关信息写入到服务器端与该用户对应的客户端存储状态文件中。

例如，具体应用实例中，采用以下定义方式：

S30，定义各个客户端之间的通信模式为以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信。

简单的数据比如说多屏视频同步、视频播放控制，这些数据采用简单数据处理过程，而商品购买操作、视频评论、协作教育过程中的答题操作，这些都算是复杂数据处理，需要借助于服务器进行处理，然后返回给客户端。

其中套接字socket通信描述的具体步骤为：

每个客户端起一个线程去建立一个tcp server socket，并不断监听其它终端的连接和接收发送过来的消息，当同组中的某个客户端需要和其它客户端交互时，这个客户端先调用相应的服务并传递一定的信息，然后相应的服务根据信息去连接需要接收指令消息的客户端之前建立的tcp server，并将指令消息发送给客户端，客户端接收到指令消息后进行相应的处理。

服务器中继通信描述的具体步骤为：

相应的客户端调用服务器端相应的web服务，以时间、时间编号或者其他变量作为参数，并同时通过客户端建立起一个线程监听服务器端所返回的数据；服务器端根据客户端所提交的请求，调用的相应的web服务组合，进行web处理，并将处理结果以消息的形式返回给其他客户端的监听接口，其他客户端在接收到客户端消息后，进行相应的响应处理。

在多线程建立过程中，系统采用以web服务作为构建单元，以面向服务的体系结构(service-oriented architecture，SOA)作为服务构架方式。根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。在服务描述上，采用以网页服务描述语言(Web Services Description Language，WSDL)描述Web服务的公共接口。通过基于可扩展标记语言(Extensible MarkupLanguage，XML)的描述方法，描述与目录中列出的Web服务进行交互时需要绑定的协议和信息格式。服务之间关于数据通信采用简单对象访问协议(SimpleObject Access Protocol，SOAP)，通过基于XML格式执行资料互换，使其抽象于语言实现、平台和硬件，在计算机网络Web服务(web service)中，交换带结构信息。在业务流程组合和执行控制上，采用BPEL语言(Business ProcessExecution Language)，以XML控制组合各个服务的执行，构成视频相关的业务。

通信模式智能化选择的具体步骤为：

在客户端程序内，对于客户端常用的数据请求类型进行存储，并根据实际的情况进行数据处理过程分析分类，划分为socket通信方式以及服务器中继通信方式；在客户端调用相应的指令时，客户端指令控制模块会自动的根据指令的内容在指令控制分类数据存储单元中查找相应的类别以及其通信定义方式，在确定通信定义方式后，客户端建立相应的线程，与组内其他客户端或者是服务器进行数据通信。

S40，客户端角色和功能的定义，以智能电视作为主视频终端，主要实现实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端，通过这样的设计，各个终端在整个电子商务活动中构成一个整体，能够发挥各个终端的操控、安全等方面的优势，提高用户的使用体验；

S50，各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

例如，基于流媒体的android系统直播的实现过程如下：

视频直播是通过提供的视频直播流媒体地址的调用实现基于android智能手机的过程。在视频直播的实现上，首要任务是系统在解码上采用FFmpeg进行rtsp流媒体文件的解码操作，对于视频的android系统的解码的实现。

首先在服务器端采用各个电视节目运营商提供的视频直播服务，以实时传输协议(Real-time Transport Protocol，RTP)协议接收传输的视频。在手机接收端，数据预处理层对本地文件按照其媒体格式解封装，获取文件的音视频或字幕等信息并将其按帧放入相应上层待解码缓冲区。对流媒体文件将去除RTP的包头信息，并将RTP中音视频信息组帧，将完整的数据帧传给上层待解码缓冲区。而后通过封装控制信息组件按照PELCO-D/P协议规定的文本格式封装用户的控制输入，并将控制信息传递给下层。该层完成主要功能为与流媒体服务器协商媒体信息细节，并根据协商结果从服务器端获取流媒体数据，将流媒体数据存入缓冲区并将数据包发送给数据预处理层。

在流媒体直播的过程中数据预处理层一共启动五个线程，其中一个线程中启动TCP连接，用于RTSP会话协商，并且在RTP数据传输期间，该TCP连接必须一直保留。两个线程分别为接收音频和视频RTP数据的线程，另外两个线程分别为接收以及发送音频和视频的RTCP数据包本层对本地文件的预处理完全依赖于FFmpeg提供的功能文件解封装功能，而流媒体文件的预处理需将一个或多个RTP数据包整合在一起，数据获取层的功能包括本地文件、流媒体文件的获取和摄像头控制信息的发送，前者只需读取本地文件即可，流媒体文件的获取需要从流媒体服务器获取媒体数据信息。流媒体文件获取部分包括前期会话协商部分、数据发送部分和数据缓冲部分。其中媒体信息协商部分需要使用RTSP协议协商媒体流常规信息，如媒体类型、传输协议和媒体格式和媒体传输端口等信息。

解码层主要应用FFmpeg移植到Android平台的代码作为播放器的解码模块，该部分代码支持包括avi、3gp、MPEG-4等90多种解码格式及文件格式，并且经过修剪优化后的FFmpeg代码效率和效能都得到了很大的提高。

视频节目与信息同步的实现过程如下：

视频节目与信息同步时整个软件实现的关键组成部分。在系统的实现上采用基于RTSP的时间戳标记方式实现。媒体之间通信的同步有三种基本方法：时间戳法是、同步标记法及多级复用法。RTSP中的同步支持采用了时间戳法。时间戳法是在每个媒体的数据流单元中加进统一的时间戳，或时间码，具有相同时间戳的信息单元将同时予以表现。在发送时，将各个媒体都按时间顺序分成单元，在同一个时间轴上，给每个单元都打上一个时间戳，处于同一时标的各个媒体单元具有相同的时间戳，同时云数据中心根据视频节目播出信息为商品信息也打上相应的时间戳，作为商品的时间信息标志。

在各个媒体到达终端后，让具有相同时间戳的媒体单元同时进行表现，这样就得到了媒体之间同步的效果，时间戳法不需要附加同步信道。在实现的过程中采用相对时间戳方法，以视频作为主媒体，而其它媒体则定为从属媒体，在主媒体的各个单元上打上时间戳，而依照与主媒体的单元在同一时间上的表现，在从属媒体相对应的单元上打上相同的时间戳，从属媒体各单元上的时间戳是相对于主媒体单元的时间戳而言的，经过分组交换，使到达客户端的具有相同时间戳的媒体单元同时进行表现，并根据主媒体中的时间戳事件定时调用相应的产品信息，这样就很好地实现了不同媒体之间的同步。

上述实施例的基础上，参考图2，本发明又一实施例的多屏协作模式的智能家庭视频业务的实现方法，其包括以下步骤：

S10，用户组的建立，通过用户登录信息、外设用户识别设备，通过对于用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

S20，用户状态的存储，客户端在登录后，客户端读取智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

S30，各个客户端之间的通信模式，以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信；

S40，客户端角色和功能的定义，以智能电视作为主视频终端，主要实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端；

S50，各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

其中S10至S50中相关的可具体参照上一实施例进行实施。

S60，更多的功能模块的设置，进一步可包括以下子步骤：

S601，购物模块的设置

用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在功能终端上点击相应的购买按钮，触发相应的商品购买事件，以功能端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

S602，娱乐模块的设置

用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

S603，教育模块的设置

用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

在其他的应用实例中，可以选择设置购物模块，娱乐模块或教育模块的一个或两个。

与本发明的方法实施例相对应的，参考图3，所示为本又一实施例为一种多屏协作模式的智能家庭视频业务的实现系统，包括客户终端10和服务器终端20，客户终端设置在诸如智能电视，智能手机，平板电脑和计算机的智能设备上，服务器终端20设置在服务器上，客户终端10上的注册登录单元101通过用户登录信息、外设用户识别设备，通过对于用户登录、识别状态的记录，通过服务器端建立同一用户组的各个智能设备之间的关联；

具体地，在智能终端用户终端的注册登录单元101中，当用户输入用户名和密码后，点击登录，向服务端webservice提交用户名和密码进行验证，当验证失败，给予用户提示；验证成功，用户登录。

客户端在登录后，所述客户端的信息采集单元102用于读取智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，将所述数据模型存储于服务器端20，在各个客户端向服务器发送视频请求时，服务器端根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

客户终端智能设备信息采集的具体步骤为：当用户验证成功后，客户终端的信息采集单元102首先读取客户端设备的屏幕大小、分辨率以及网络参数，并通过客户终端的信息比较单元103与客户端设备内所存储的客户端设备、网络信息存储单元进行比较，如果客户端设备上没有设备、网络信息存储单元或设备网络信息存储单元与设备参数不同，客户端主程序将会调用客户端参数采集单元102，读取智能终端的底层设备信息，调用相应的服务，将智能终端的相关信息写入到服务器端与该用户对应的客户端存储状态文件中。

例如，具体应用实例中，采用以下定义方式：

定义各个客户端之间的通信模式为以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信。

简单的数据比如说多屏视频同步、视频播放控制，这些数据采用简单数据处理过程，而商品购买操作、视频评论、协作教育过程中的答题操作，这些都算是复杂数据处理，需要借助于服务器进行处理，然后返回给客户端。

其中套接字socket通信描述的具体步骤为：

每个客户端起一个线程去建立一个tcp server socket，并不断监听其它终端的连接和接收发送过来的消息，当同组中的某个客户端需要和其它客户端交互时，这个客户端先调用相应的服务并传递一定的信息，然后相应的服务根据信息去连接需要接收指令消息的客户端之前建立的tcp server，并将指令消息发送给客户端，客户端接收到指令消息后进行相应的处理。

服务器中继通信描述的具体步骤为：

相应的客户端调用服务器端相应的web服务，以时间、时间编号或者其他变量作为参数，并同时通过客户端建立起一个线程监听服务器端所返回的数据；服务器端根据客户端所提交的请求，调用的相应的web服务组合，进行web处理，并将处理结果以消息的形式返回给其他客户端的监听接口，其他客户端在接收到客户端消息后，进行相应的响应处理。

在多线程建立过程中，系统采用以web服务作为构建单元，以面向服务的体系结构(service-oriented architecture，SOA)作为服务构架方式。根据需求通过网络对松散耦合的粗粒度应用组件进行分布式部署、组合和使用。在服务描述上，采用以网页服务描述语言(Web Services Description Language，WSDL)描述Web服务的公共接口。通过基于可扩展标记语言(Extensible MarkupLanguage，XML)的描述方法，描述与目录中列出的Web服务进行交互时需要绑定的协议和信息格式。服务之间关于数据通信采用简单对象访问协议(SimpleObject Access Protocol，SOAP)，通过基于XML格式执行资料互换，使其抽象于语言实现、平台和硬件，在计算机网络Web服务(web service)中，交换带结构信息。在业务流程组合和执行控制上，采用BPEL语言(Business ProcessExecution Language)，以XML控制组合各个服务的执行，构成视频相关的业务。

通信模式智能化选择的具体步骤为：

在客户端程序内，对于客户端常用的数据请求类型进行存储，并根据实际的情况进行数据处理过程分析分类，划分为socket通信方式以及服务器中继通信方式；在客户端调用相应的指令时，客户端指令控制模块会自动的根据指令的内容在指令控制分类数据存储单元中查找相应的类别以及其通信定义方式，在确定通信定义方式后，客户端建立相应的线程，与组内其他客户端或者是服务器进行数据通信。

S50，各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

例如，基于流媒体的android系统直播的实现过程如下：

视频直播是通过提供的视频直播流媒体地址的调用实现基于android智能手机的过程。在视频直播的实现上，首要任务是系统在解码上采用FFmpeg进行rtsp流媒体文件的解码操作，对于视频的android系统的解码的实现。

首先在服务器端采用各个电视节目运营商提供的视频直播服务，以实时传输协议(Real-time Transport Protocol，RTP)协议接收传输的视频。在手机接收端，数据预处理层对本地文件按照其媒体格式解封装，获取文件的音视频或字幕等信息并将其按帧放入相应上层待解码缓冲区。对流媒体文件将去除RTP的包头信息，并将RTP中音视频信息组帧，将完整的数据帧传给上层待解码缓冲区。而后通过封装控制信息组件按照PELCO-D/P协议规定的文本格式封装用户的控制输入，并将控制信息传递给下层。该层完成主要功能为与流媒体服务器协商媒体信息细节，并根据协商结果从服务器端获取流媒体数据，将流媒体数据存入缓冲区并将数据包发送给数据预处理层。

在流媒体直播的过程中数据预处理层一共启动五个线程，其中一个线程中启动TCP连接，用于RTSP会话协商，并且在RTP数据传输期间，该TCP连接必须一直保留。两个线程分别为接收音频和视频RTP数据的线程，另外两个线程分别为接收以及发送音频和视频的RTCP数据包本层对本地文件的预处理完全依赖于FFmpeg提供的功能文件解封装功能，而流媒体文件的预处理需将一个或多个RTP数据包整合在一起，数据获取层的功能包括本地文件、流媒体文件的获取和摄像头控制信息的发送，前者只需读取本地文件即可，流媒体文件的获取需要从流媒体服务器获取媒体数据信息。流媒体文件获取部分包括前期会话协商部分、数据发送部分和数据缓冲部分。其中媒体信息协商部分需要使用RTSP协议协商媒体流常规信息，如媒体类型、传输协议和媒体格式和媒体传输端口等信息。

解码层主要应用FFmpeg移植到Android平台的代码作为播放器的解码模块，该部分代码支持包括avi、3gp、MPEG-4等90多种解码格式及文件格式，并且经过修剪优化后的FFmpeg代码效率和效能都得到了很大的提高。

视频节目与信息同步的实现过程如下：

视频节目与信息同步时整个软件实现的关键组成部分。在系统的实现上采用基于RTSP的时间戳标记方式实现。媒体之间通信的同步有三种基本方法：时间戳法是、同步标记法及多级复用法。RTSP中的同步支持采用了时间戳法。时间戳法是在每个媒体的数据流单元中加进统一的时间戳，或时间码，具有相同时间戳的信息单元将同时予以表现。在发送时，将各个媒体都按时间顺序分成单元，在同一个时间轴上，给每个单元都打上一个时间戳，处于同一时标的各个媒体单元具有相同的时间戳，同时云数据中心根据视频节目播出信息为商品信息也打上相应的时间戳，作为商品的时间信息标志。

在各个媒体到达终端后，让具有相同时间戳的媒体单元同时进行表现，这样就得到了媒体之间同步的效果，时间戳法不需要附加同步信道。在实现的过程中采用相对时间戳方法，以视频作为主媒体，而其它媒体则定为从属媒体，在主媒体的各个单元上打上时间戳，而依照与主媒体的单元在同一时间上的表现，在从属媒体相对应的单元上打上相同的时间戳，从属媒体各单元上的时间戳是相对于主媒体单元的时间戳而言的，经过分组交换，使到达客户端的具有相同时间戳的媒体单元同时进行表现，并根据主媒体中的时间戳事件定时调用相应的产品信息，这样就很好地实现了不同媒体之间的同步。

在又一具体实施例的多屏协作模式的智能家庭视频业务的实现系统中，进一步的，可设置更多的功能模块，例如：

购物模块，用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在客户终端上点击相应的购买按钮，触发相应的商品购买事件，以功能端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

娱乐模块，用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

教育模块，用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

以上功能模块也可在其他的实施例中择一或择二进行添加，看用户具体的需求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多屏协作模式的智能家庭视频业务的实现方法，其特征在于，包括以下步骤：

S10，用户组的建立，通过用户登录信息对用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

S20，用户状态的存储，客户终端在登录后，客户终端读取并比较智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，若智能设备的参数有更新则将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

S30，各个客户端之间的通信模式定义，以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信；

S40，客户端角色和功能的定义，以智能电视作为主视频终端，主要实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端；

S50，各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

2.根据权利要求1所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S10中所述的登录验证的具体步骤为：

在用户终端的注册单元中，当用户输入用户名和密码后，点击登录，向服务端webservice提交用户名和密码进行验证，当验证失败，给予用户提示；验证成功，用户登录。

3.根据权利要求1或2所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S20中所述的客户端智能设备信息采集的具体步骤为：

当用户验证成功后，用户终端的端验证模块首先读取客户端设备的屏幕大小、分辨率以及网络参数，并与客户端设备内所存储的客户端设备、网络信息存储单元进行比较，如果客户端设备上没有设备、网络信息存储单元或者是设备网络信息存储单元与设备参数不同，客户端主程序将会调用客户端参数采集模块，读取智能终端的底层设备信息，调用相应的服务，将智能终端的相关信息写入到服务器端与该用户对应的客户端存储状态文件中。

4.根据权利要求1所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S30中所述的套接字socket通信描述的具体步骤为：

每个客户终端起一个线程去建立一个tcp server socket，并不断监听其它终端的连接和接收发送过来的消息，当同组中的某个客户端需要和其它客户端交互时，这个客户端先调用相应的服务并传递一定的信息，然后相应的服务根据信息去连接需要接收指令消息的客户端之前建立的tcp server，并将指令消息发送给客户端，客户端接收到指令消息后进行相应的处理。

5.根据权利要求1所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S30中所述的服务器中继通信描述的具体步骤为：

相应的客户端调用服务器端相应的web服务，以时间、时间编号或者其他变量作为参数，并同时通过客户端建立起一个线程监听服务器端所返回的数据；服务器端根据客户端所提交的请求，调用的相应的web服务组合，进行web处理，并将处理结果以消息的形式返回给其他客户端的监听接口，其他客户端在接收到客户端消息后，进行相应的响应处理。

6.根据权利要求1或4或5所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S30中所述的通信模式智能化选择的具体步骤为：

在客户端程序内，对于客户端常用的数据请求类型进行存储，并根据实际的情况进行数据处理过程分析分类，划分为socket通信方式以及服务器中继通信方式；在客户端调用相应的指令时，客户端指令控制模块会自动的根据指令的内容在指令控制分类数据存储单元中查找相应的类别以及其通信定义方式，在确定通信定义方式后，客户端建立相应的线程，与组内其他客户端或者是服务器进行数据通信。

7.根据权利要求1所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，S50中所述的服务器中继通信描述的具体步骤为：

在各个终端的信息同步的实现上，采用基于RTSP的时间戳标记方式实现，首先，根据视频内容建立视频节目流的EPG信息，建立视频相关信息的时间戳标记序列，在服务器端建立与之对应的节目时间戳事件列表；

在客户端在进行流媒体直播流解析和播放的过程中，当客户端流媒体解析框架在接收到流媒体流时接收到时间戳信息时，提取时间戳中所包含的媒体同步事件的相关信息，并以同步事件信息作为参数，实现同一组内其他客户端之间的通信模式的建立，进而使同一组内各个客户端的视频内容与相关信息同步。

8.根据权利要求1所述的多屏协作模式的智能家庭视频业务的实现方法，其特征在于，在S50后进一步包括S60，更多的功能模块的设置，具体包括以下步骤：

S601，购物模块的设置

用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在功能终端上点击相应的购买按钮，触发相应的商品购买事件，以功能终端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

S602，娱乐模块的设置

用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

S603，教育模块的设置

用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

9.一种多屏协作模式的智能家庭视频业务的实现系统，其特征在于，包括若干个客户终端和服务器终端，所述客户终端端设置在智能电视，智能手机，平板电脑和计算机的智能设备上，所述服务器终端设置在服务器上，

所述客户端用于通过用户终端的注册登录单元注册或登录，通过对于用户登录、识别状态的记录，建立同一用户组的各个智能设备之间的关联；

用户状态的存储，客户端在登录后，用户终端的数据采集模块读取并比较智能设备参数，包括智能设备分辨率、屏幕大小等信息，建立数据模型，若智能设备的参数有更新则将所述数据模型存储于服务器端，在各个客户端向服务器发送视频请求时，服务器根据客户端设备参数向相应的客户端发送与之相适应的流媒体码流，实现码流的自适应传输；

其中各个客户端之间的通信模式，以服务器数据通信中继和套接字socket通信结合终端混合通信方式，通过基于服务器端的数据通信中继和数据处理，在客户端程序建立智能通信选择模块，对于需要进行复杂性数据处理的通信模式以服务器中继的通信模式进行数据通信处理；对于简单的数据通信以socket实现客户端之间的直接通信；以智能电视作为主视频终端，主要实现实现视频内容的承载；以智能手机主要作为智能电视视频播放的控制端，模拟传统的电视机遥控器功能；平板电脑主要作为整个智能家庭视频业务过程中的信息功能终端，同步显示文字、图片等信息，同时兼顾控制功能；计算机端主要作为智能家庭视频业务的复杂交互、网络管理终端；各个智能设备客户端信息同步的实现上，视频是以流媒体形式向网络中各个客户端进行广播或者点播，在视频流媒体中以实时流传输协议RTSP的时间戳标记方式与电视节目的电子节目指南EPG相结合的方式，在视频终端视频接收程序获取时间戳标记后，向其他终端发送同步请求，实现不同媒体终端之间的同步。

10.根据权利要求9所述的多屏协作模式的智能家庭视频业务的实现系统，其特征在于，进一步包括设置的购物模块，娱乐模块和教育模块，其中，

购物模块，用户在视频或电视节目观看的过程中，对于广告、购物节目以及专题节目，如果用户拥有商品的购买意愿，在客户终端上点击相应的购买按钮，触发相应的商品购买事件，以功能端按钮事件触发时间所对应的商品信息模型作为购买事件参数，向服务器发送购买请求，将所要购买商品信息模型发送到服务器端进行存储和管理，用户可以在线下通过计算机登录系统进行购买、支付操作；

娱乐模块，用户在视频或者电视节目观看的过程中，对于电视剧、电影或者其他娱乐节目，如果用户需要通过一定的方式与视频或者电视节目运营商进行交互，用户在功能终端上相应的交互区域进行交互操作，点击提交按钮，触发相应的交互响应事件，将用户的交互操作信息建立交互操作信息模型并与功能端按钮事件触发时间所对应的视频或者电视节目信息建立复合的信息模型，调用服务器端相应的信息存储服务，将复合的信息模型存储于服务器端，并向相应的功能信息终端发送信息异步刷新指令，使用户的交互信息实时的仔客户端显示；

教育模块，用户在视频或者电视节目观看的过程中，对于教育、教学相关节目，如果用户需要与教育教学节目进行基于教学内容的测试、练习等交互方式，在功能终端和控制终端上将以同步的形式显示教育教学视频内容相对应的教学课件和测试题目，在教学测试中，用户根据播放端教学内容，点击控制端中题目备选项，触发与备选项对应的事件，将用户信息、备选项信息模型建立复合的教育教学测试模型，调用服务器端相应的信息存储服务存储教育教学测试模型。

Images