CN105979284B

CN105979284B - 移动终端视频共享方法

Info

Publication number: CN105979284B
Application number: CN201610309339.9A
Authority: CN
Inventors: 杨�远; 杨华杰
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-05-10
Filing date: 2016-05-10
Publication date: 2019-07-19
Anticipated expiration: 2036-05-10
Also published as: CN105979284A

Abstract

本发明提供了一种移动终端视频共享的方法，该方法包括以下步骤：（1）一个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传输给一个或多个服务器；（2）所述一个或多个服务器储存所述编码压缩后的视频数据；（3）一个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放。本发明还提供了实时编码优化方法。所述方法可以满足大数据量的视频实时共享要求。

Description

移动终端视频共享方法

技术领域

本发明涉及移动通信领域，具体地涉及一种移动终端视频共享方法。

背景技术

互联网时代网络正在带给人们各种各样的信息，这些信息不只是单纯文本、图像和简单的声音文件，而是包含音、视频的多媒体技术，包括广播电视、新闻剪辑电台、电影、监控视频等。想要使用这些多媒体信息，就必须实现视频、音频信息在网络上的传输，但随着上网人数的趋增，而网络硬件设备的本身局限性，使得媒体文件的大小成为网络传输一个不可忽视的参数。人们希望能在网络上实时地看到清晰、流畅的媒体演示或共享。

移动终端在媒体功能中所起的作用越来越重要，通过移动终端实现媒体资料共享也逐渐显现它在资源共享方面的重要性。目前，移动终端之间的视频等媒体信息的实时共享一般是通过先将视频等媒体文件传输到接收端，再由接收端进行媒体文件的解码与播放。但是，如果接收端不支持相关媒体文件的解码，则该接收端就无法播放这些媒体文件，而且，由于文件传输需要一段时间，接收端需要等待较长的时间进行文件下载，才能进行播放；此外，对于需要分享其实时播放或显示内容的移动终端用户，可能还需要将这些内容录制成文件，再传输到接收端，不能满足实时与同步性。

另外，由于信息技术的不断进步，视频或者图像设备和平台也越来越丰富，由于图像视频的格式和标准没有得到统一，这使得视频图像跨平台或者是不同的设备之间很难得到共享。如果在编码端釆用独特或者过于复杂编码方式，解码端并不知道编码端的编码方式以及可能由于编码端编码方式难度很大。解码端不能过对已编码的视频序列进行解码，这种标准的不统一性就造成了视频或图像的可操作性和应用性变差，甚至使得视频的压缩技术失去意义。在制定标准的过程中产生了很多不同的标准，经过实践的检验，保留下来几个大的视频图像标准，这就有利于竞争机制的保持，也加强了视频图像标准的统一性。

CN200810066097.0的专利申请提出了“一种共享播放多媒体文件的方法及多媒体播放器”，该专利申请提出的方法和多媒体播放器虽然可以通过实时流的方式对播放器中的媒体进行缓冲，但还需播放器进行媒体解码，对播放器解码能力要求较高，对一些播放器不支持的文件格式没有办法共享播放；并且，该专利申请提出的方法和多媒体播放器未涉及与解决非实体文件的实时共享问题，例如，终端如何将其CMMB或收音机所接收到的视频或音频信息实时共享给其他终端，或如何将终端的LCD显示内容或声音实时共享给其他终端。

CN200910205518公开了一种实现移动终端音视频实时共享的方法，包括以下步骤：A、发送端记录将要播放的音视频数据，对所述音视频数据进行编码压缩后传输给接收端；B、接收端对接收到的所述音视频数据进行解压解码后调用相应的驱动接口对所述音视频数据进行播放。

CN102326356A公开了一种在包括多个视频捕捉设备(102)的通信网络(100)中的节点(101)处的计算机实现的视频共享方法，所述方法包括：接收同一事件的多个视频流(200)，每个视频流源自所述视频捕捉设备中的不同的一个；获取关于所述视频流的上下文信息(202)；提供视频流输出用于由所述通信网络中其他实体共享(206)，所述视频流输出是在所述上下文信息的基础上从已接收的视频流生成的。

CN101625701A公开了一种视频共享方法，包括以下步骤：移动终端将视频文件上传给内容管理门户；所述内容管理门户把视频文件发布到流媒体平台上；把视频文件在所述流媒体平台的链接通知给其他移动终端。

CN104902311A公开了一种音视频资源共享的方法，包括：接收智能移动终端发送的节目播放请求消息；根据所述节目播放请求消息，确定节目标识；根据所述节目标识，获取所述节目标识对应的节目信息；根据所述节目信息，获取传输流TS数据；解扰所述TS数据，得到所述节目标识对应的清流TS数据；从所述清流TS数据中录制出音频数据及视频数据并将所述音频数据及视频数据进行实时流传输HLS切片处理，得到播放TS数据；将所述播放TS数据发送至所述智能移动终端。

CN101707686A公开了一种移动终端之间共享视频的方法，所述方法包括：主叫终端将视频文件上传至媒体服务器；被叫终端通过移动网络与所述媒体服务器建立视频链路，所述媒体服务器通过所述视频链路向所述被叫终端发送所述视频文件的视频流；被叫终端接收所述媒体服务器发送的视频流，完成所述视频文件的播放。

CN101883147A公开了一种实现多方视频共享的方法，该方法包括：主叫终端通过视频共享服务器向多个被叫终端发起视频共享请求，收到视频共享请求的被叫终端向视频共享服务器回复响应消息；视频共享服务器按照被叫终端的归属地、终端类型、接入方式和上行带宽的优先级顺序确定被叫终端的视频数据方向；被叫终端根据所确定的视频数据方向为其他终端提供共享的视频数据。

CN101127874A公开了一种在移动通信终端中进行的视频电话中共享屏幕的方法，该方法包括：如果在视频电话中出现了屏幕共享的事件，则向接通的终端发送屏幕共享请求信号；和当从接通的终端接收到屏幕共享接受信号时，捕获屏幕上显示的图像，并把所捕获的图像发送到接通的终端。

JP 2003-012734A公开了一种利用静止图像或运动图像执行视频通信的移动视频电话终端，包括：图像拍摄部分，用于拍摄第一显示信息；视频电话通信执行部分，用于在视频通信中接收来自接收端的第二显示信息以执行视频电话通信；数据通信执行部分，用于通过预定的基站获取第三显示信息；图像合成部分，用于通过将从第一至第三显示信息中选择的至少两个显示信息相结合，以产生第四显示信息；发送图像选择部分，用于将第一至第四显示信息输入到其中，以选择显示信息至少其中之一，并将其作为发送图像发送到接收端；以及显示图像选择部分，用于选择第一至第四显示信息其中之一并将其作为显示图像进行显示。

WO2014/093668A1公开了一种用于视频编辑和创建的方法，包括：a.接收多个视频，每个接收的视频与位置信息和时间信息关联；b.基于所述位置信息和时间信息将所述接收的视频分组到事件；c.基于所述时间信息同步所述事件的所述接收的视频；d.将所述事件的每个接收的视频划分为预定持续时间的多个视频段，每个视频段与时间间隔关联；以及e.显示与相同时间间隔对应的多个视频段。

“基于Android和H.264的实时视频监控系统”，任克强等，计算机测量与控制，2013年，21(9)，2448-2450，为了提高无线视频监控系统的实时性和普适性，设计并实现了一种基于Android平台的实时视频监控系统；介绍了视频监控系统的组成，重点论述了视频监控系统主要模块设计以及RTP/RTCP协议重组优化方案；并以PC机作为服务器采集实时视频，选取Android手机和Android平板电脑作为不同的客户端，分别在移动3G网络和wLAN网络环境中对系统进行了测试；测试结果表明，系统在不同无线网络和不同移动终端中均能可靠的工作，客户端所获取的实时视频图像稳定流畅，具有较好的实时性能。

在上述文献和其它现有技术中，通常是将视频发送至服务器，由服务器进行转码操作，这增加了服务器的负荷，另外在转码中未进行有效优化，使得转码耗时过长，严重限制了视频数据的实时共享。因此需要一种能够以高的传输速度实现移动终端视频的实时共享的方法。

发明内容

为解决上述问题，本发明人经过深入研究和大量实验，提供了一种移动终端视频共享的方法，该方法包括以下步骤：

(1)一个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传输给一个或多个服务器；

(2)所述一个或多个服务器储存所述编码压缩后的视频数据；

(3)一个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放。

优选地，所述编码或解码采用H.264标准进行。

优选地，所述移动终端是基于Android平台或IOS平台。

优选地，所述移动终端包括视频流媒体控制模块，发送模块和接收模块，以及视频编码和解码模块。

在一个优选实施方式中，所述服务器具有中间节点调节功能，节点的管理工作主要由供应节点发起，由服务器进行中间调节，由用户节点配合完成，供应节点使用一张节点列表来存储所有节点的信息，同时有另一张表存储被分享视频的特性。所有节点都会有一张表用来记录其上下家节点的信息。服务器的实时中间节点调节方法优选为如下：1)新用户节点连接到同步协作网络，发送请求或询问给供应节点；2)供应节点根据当前总的节点数进行判断，确定是否使用网络编码：若节点数小于m(m优选≥10，下同)，不进行网络编码，反之则进行网络编码；供应节点直接发送同步视频块给用户节点，用户节点互相交换接收到的数据；若节点数大于m，则使用网络编码(给定的k和n)，反之则进行网络编码；供应节点随机选取k个供应节点，作为新加入节点的上家；发送SELECTlON给相关的节点，这k个将收到编码的同步视频块直接推送至新加入节点；3)若新加入节点成为再生节点，则发送REGEN通知供应节点，供应节点序列进行更新n＝n+l；4)用户节点定期发送ROUTINE，以表示其还处于正常的健康状态；5)退出时，用户节点发送QUIT通知供应节点。

优选地，在该中间节点调整过程中，可以选择用TCP发送通信控制数据包，而选择使用UDP发送同步视频块。

该方法可以极大地改善用户体验。本发明人根据不同的网络编码设置，测试了一次同步过程所需要的平均延时时间。在不同的编码条件下，供应节点在快进2分钟之后，所有节点达到同步所需要的平均时间延时。随着节点数量的增加，使用了网络编码策略的平均延时会小于不使用网络编码的情况，平均延时最多减少了55％。使用网络编码策略时，n、k两值也会影响到平均延时。当k相等时，n值较小的策略在节点少时(节点数小于10)系统平均延迟小于n值较大的情况，时间缩短0.3秒-0.5秒；但当系统节点逐渐变多时，采用上述节点调节方法时，与不采用该方法相比，可显著缩短延迟时间，时间缩短0.5秒-1.0秒。当n值固定时，k值较大时的延时明显高于k值较小时。随着节点数目的增多，达到同步所需要的平均时间延时也会增大，而且增幅会逐渐增大。同时使用了网络编码后，平均时间延时都会降低，因此本发明的上述节点调节方法对网络用户较多的情形可有效促进了视频的同步观看，显著增加了用户体验。

在一个优选实施方式中，在前述步骤(1)和(3)中：

(a)移动终端以特定的速率定时抽取将要播放的视频数据，按时间顺序将相邻Δt时间内抽取的视频数据存储在不同的缓冲区中，形成多个Δt时间数据包；所述抽取视频数据具体实现为：按照抽取周期定时采样视频数据，并且抽取所述抽取周期内完整的视频数据；

(b)轮流编码压缩所述不同的缓冲区中的Δt时间数据包；

(c)将编码压缩后的Δt时间数据包存储于数据队列中；

(d)将编码压缩后的Δt时间数据包传输给服务器；

(e)接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放，其中接收端接收移动终端发来的所述Δt时间数据包，对所述Δt时间数据包进行解压解码后交替存储于不同的缓冲区中，轮流地从所述不同的缓冲区中取出所述Δt时间数据包中的视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口分别对所述视频数据进行播放。

该方法可显著降低对移动终端播放器解码能力的要求。

所述Δt可以优选使得PSNR损失＜10％。

进一步地，如果移动终端采集到的视频信息为非H.264编码，则进行基于H.264进行转码，将其转换成标准H.264编码，同时根据对网络状况的实时监控对帧率、码率和视频图像分辨率进行实时调整来保证高质量的网络视频传输；其中对网络状况的实时监控是基于TCP建立下式(1)所示的模型来估算网络速度，然后根据估算结构来动态调整视频，例如调整前述Δt：

其中psize是数据包的大小，p为平均丢包率，RTT为平均往返时延，T₀为超时时限，b为每个应答包所包含的数据包应答的个数。

在另外一个优选实施方式中，Δt可根据下面方式进行动态可调，即，Δt＝(任务时间片)–(任务执行时间)，其中任务时间片为预估任务需要循环执行的时间周期。

优选地，所述服务器或移动终端具有转码模块，以满足不同移动终端的要求。

所述转码模块优选由一个或多个转码器组成，所述转码器由解码器和编码器级联而成，即先对编码码流进行解码，然后对重建视频帧进行下采样，再重新编码。

在一个特别优选的实施方式中，在所述编码器的运动估计中，基于线性回归模型进行运动矢量重估计。H.264有7种帧间预测模式，相应地，对每种预测模式分别建立线性回归模型。

优选地，所述线性回归模型如下式(I)所示：

其中，为未知参数，可从当前视频序列采集数据对该模型进行训练，得到相应的未知参数，以支持该视频序列的特征，其训练过程如下：

(1)解码原始的压缩数据流，对其进行下采样；

(2)在开始阶段，用标准的H.264编码方式和R-D优化算法对其进行重新编码，保存所得到的所有块的运动矢量，按照宏块预测模式对其进行分类，其中i表示宏块预测模式，N_i表示该预测模式的块的数目，它们的运动矢量表示为{y_n，n＝1，2，...，N_i}；

(3)找到(2)中所有块在原始视频图像中的相应区域，用{_xmn，m＝1，2，...M，n＝1，2，...，N_i}表示它们对应的运动矢量；

(4)从上述步骤获取的数据S_i＝{(x_mn，y_n)，m＝1，2，...M，n＝1，2，...，N_i}中选取N组数据S＝{(x_mn，y_n)，m＝1，2，...M，n＝1，2，...，M}对预测模式为i的线性回归模型进行训练；

(5)将N组数据对应的的平均值确定为该预测模式下未知参数的值；其中视频的特征会影响N的取值，而N值得大小，又会影响运动估计的速度和准确性。

本发明人发现，当N取8时，能够获得比较好的回归实验结果，具体如下：将S＝{(x_mn，y_n)，m＝1，2，...M，n＝1，2，...，M}应用在线性回归模型(I)中可得：

由式II可推导到：

Y＝(y₁，y₂，...，y_M)

每个线性回归模型的运动矢量都对应两个相互独立的方向。例如：

Y＝(_y1，y₂)，X＝{(x_1m，x_2m)，m＝1，2，...，M}，该模型对应下式IV所示的2个线性方程：

在此基础上，对H.264的7中不同的预测模式及其两个相互独立的方向需要分别建立线性回归模型，将求得的参数保存在转码器的缓冲区中，利用线性回归模型，后续帧在B块的运动矢量可以通过以下步骤获取：

(1)确定该块的预测模式i；

(2)在原始视频图像中找到该块对应的区域R，记录该区域各块的运动矢量；

(3)将得到的运动矢量运用到预测模式为i的线性回归模型中，求得B块的运动矢量；

(4)通过1/4像素精度，快速搜索算法来获取最佳运动矢量。

本发明人将上述线性回归方法与BestRD方法(即，在重编码过程中，按照H.264编码标准直接进行CPDT，并使用R-D优化算法)、Benchmark方法(即，在重编码过程中，仍然按照H.264编码标准进行CPDT，但是不使用R-D优化算法)、和AMV方法(即利用原始视频流运动矢量的平均值来替代下采用视频流的欲动矢量)进行对比。实验结果表明：使用BestRD方法可以获得最佳的R-D性能，但是耗时也最多，是本发明方法的20-30倍，AMV方法的耗时与本发明相当(即基本相同)，但是R-D性能却比本发明差很多，明显可以看出，本发明算法兼顾了R-D性能和时间开销，从而使得本发明的方法能够非常有利地应用移动终端视频的实时共享。

综上，本发明提供的实现移动终端视频实时共享方法使得能够高速、流畅地进行视频的实时传递和共享，极大降低了服务器的压力，能够满足大量用户之间视频实时传输的要求，同时对一些播放器不支持的文件格式也可以共享共享播放，从而有效解决非实体文件的实时共享问题，可以加大用户间的交流，增强用户的多媒体体验。

附图说明

图1为根据本发明实施例1的移动终端视频共享的流程示意图。

具体实施方案

下面结合以下实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

如图1所示，移动终端视频共享的方法包括：一个或多个作为发送端的移动终端对将要共享的视频数据进行编码压缩后传输给一个或多个服务器；所述一个或多个服务器储存所述编码压缩后的视频数据；一个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放。

在现有的视频共享方法中，通常是由服务器进行编码压缩和解压解码操作，这会严重增加服务器的负荷，甚至导致不能够使用大量用户之间的视频实时流畅共享。与此形成对照的是，根据实施例1的方法，由作为发送端的移动终端对将要共享的视频数据进行编码压缩，以及由对接收到的所述视频数据进行解压解码，可以极大地降低服务器的负荷，同时由于智能机性能的不断增强，也使该方法具有很高的可行性。

实施例2

通过上文所述的本发明线性回归方法对解码过程进行优化即对编码器的运动矢量进行重估计，将其优化效果与BestRD方法、Benchmark方法和AMV方法进行对比，对比结果如下表1所示。

表1：序列Mother-Daughter实验结果比较

	PSNR(dB)	Bit rate(kb/s)	Time(s)
				BestRD	36.33	64.11	320.22
Bencmark	36.55	65.03	301.78
				实施例1(根据本发明)	35.89	90.06	15.02
AMV	30.84	91.00	14.97

由表1可以看出，使用BestRD方法可以获得最佳的R-D性能，但是耗时也最多，是本发明方法的约21倍，虽然AMV方法的耗时与本发明相当，但是R-D性能却比本发明差很多，可见实施例1的方法能够非常有利地应用移动终端视频的实时共享。

本书面描述使用实例来公开本发明，包括最佳模式，且还使本领域技术人员能够制造和使用本发明。本发明的可授予专利的范围由权利要求书限定，且可以包括本领域技术人员想到的其它实例。如果这种其它实例具有不异于权利要求书的字面语言的结构元素，或者如果这种其它实例包括与权利要求书的字面语言无实质性差异的等效结构元素，则这种其它实例意图处于权利要求书的范围之内。在不会造成不一致的程度下，通过参考将本文中参考的所有引用之处并入本文中。

Claims

1.一种移动终端视频共享的方法，该方法包括以下步骤：

(2)所述一个或多个服务器储存所述编码压缩后的视频数据；

(3)一个或多个作为接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放；

所述服务器具有中间节点调节功能，节点的管理工作主要由供应节点发起，由服务器进行中间调节，由用户节点配合完成，供应节点使用一张节点列表来存储所有节点的信息，同时有另一张表存储被分享视频的特性，所有节点都会有一张表用来记录其上下家节点的信息；

服务器的实时中间节点调节方法为如下：1)新用户节点连接到同步协作网络，发送请求或询问给供应节点；2)供应节点根据当前总的节点数进行判断，确定是否使用网络编码：若节点数小于m，其中m≥10，不进行网络编码，反之则进行网络编码；供应节点直接发送同步视频块给用户节点，用户节点互相交换接收到的数据；若节点数大于m，则使用网络编码，其中给定的k和n，供应节点随机选取k个供应节点，作为新加入节点的上家；发送SELECTlON给相关的节点，这k个供应节点将收到编码的同步视频块直接推送至新加入节点；3)若新加入节点成为再生节点，则发送REGEN通知供应节点，供应节点序列进行更新n＝n+l；4)用户节点定期发送ROUTINE，以表示其还处于正常的健康状态；5)退出时，用户节点发送QUIT通知供应节点；

在所述步骤(1)和(3)中：

(b)轮流编码压缩所述不同的缓冲区中的Δt时间数据包；

(c)将编码压缩后的Δt时间数据包存储于数据队列中；

(d)将编码压缩后的Δt时间数据包传输给服务器；

(e)接收端的移动终端从服务器获得所述编码压缩后的视频数据，对接收到的所述视频数据进行解压解码后调用相应的驱动接口对所述视频数据进行播放，其中接收端接收移动终端发来的所述Δt时间数据包，对所述Δt时间数据包进行解压解码后交替存储于不同的缓冲区中，轮流地从所述不同的缓冲区中取出所述Δt时间数据包中的视频数据进行分离和调整后，调用LCD驱动接口和CODEC驱动接口分别对所述视频数据进行播放；

其中移动终端采集到的视频信息为非H.264编码，进行基于H.264进行转码，将其转换成标准H.264编码，同时根据对网络状况的实时监控对帧率、码率和视频图像分辨率进行实时调整来保证高质量的网络视频传输；其中对网络状况的实时监控是基于TCP建立下式(1)所示的模型来估算网络速度，然后根据估算结果来动态调整视频，调整前述Δt：

其中psize是数据包的大小，p为平均丢包率，RTT为平均往返时延，T₀为超时时限，b为每个应答包所包含的数据包应答的个数，其中所述Δt使得PSNR损失＜10％。

2.如权利要求1所述的方法，所述编码或解码采用H.264标准进行。

3.如权利要求1或2所述的方法，所述移动终端是基于Android平台或IOS平台。

4.如权利要求1或2所述的方法，其中移动终端包括视频流媒体控制模块、发送模块和接收模块、以及视频编码和解码模块。

5.如权利要求1所述的方法，其中所述服务器或移动终端具有转码模块，以满足不同移动终端的要求。

6.如权利要求5所述的方法，其中所述转码模块由一个或多个转码器组成，所述转码器由解码器和编码器级联而成，即先对编码码流进行解码，然后对重建视频帧进行下采样，再重新编码。

7.如权利要求6所述的方法，其中在编码器的运动估计中，基于线性回归模型进行运动矢量重估计。