CN104038813B - 一种多屏互动方法及系统 - Google Patents

Abstract

本发明涉及一种多屏互动方法及系统。本发明在移动终端接收音视频终端媒体数据流时，对接收到的每帧媒体数据流的获取预设连续标志位，根据连续标志位判断当前帧和上一帧是否连续，并记录不连续次数，如果不连续次数到达上限，则通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的能恢复正常，最终解决直播或镜屏长时间卡顿问题。

Description

一种多屏互动方法及系统

技术领域

本发明涉及通信领域，尤其涉及一种多屏互动方法及系统。

背景技术

近年来，随着移动互联技术的兴起，人们已经深深的感受到了移动互联技术带来的便捷。以智能手机、平板电脑为代表的智能移动终端正在掀起一场席卷全球的指尖革命，移动互联的发展已势不可挡。同时随着三网融合的发展以及移动带宽传输速率的改善，以家庭局域网构建的多屏互动技术迅速发展起来。

目前，大多数多屏互动应用是通过DLNA协议来实现的，通过DLNA协议的构建，可以使得移动终端能够通过无线网络观看音视频终端(机顶盒、智能电视等)的媒体数据流，例如电视节目资源，并同时通过无线网络实现对音视频终端的智能控制。

但是，由于无线网络的不稳定性和易干扰性，会使得通过移动终端，例如手机、PAD等实现的多屏互动直播或镜屏播放电视节目不稳定或者数据接收不连续，造成长卡顿(或花屏)的问题，如果不及时解决，这就给用户带来不流畅的视觉感受，给用户带来极大的不便，影响用户使用。

发明内容

有鉴于此，有必要针对上述多屏互动网络出现卡顿，影响用户使用的问题，提供一种多屏互动方法。

此外，还提供一种多屏互动系统。

本发明提供一种多屏互动方法，包括如下步骤：

移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的每帧媒体数据流中预设的连续标志位；

将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一；

判断不连续次数是否到达上限，如果到达上限，移动终端通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

本发明还提供一种多屏互动系统，包括：

连续标志位获取单元，移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的每帧媒体数据流中预设的连续标志位；

连续标志位比较单元，将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一；

卡顿处理单元，判断不连续次数是否到达上限，如果到达上限，通知音视频终端，由音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；并控制移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

本发明多屏互动方法及系统，在移动终端接收音视频终端媒体数据流时，对接收到的每帧媒体数据流的获取预设连续标志位，根据连续标志位判断当前帧和上一帧是否连续，并记录不连续次数，如果不连续次数到达上限，则通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效解决卡顿不能消除的问题，为用户带来流畅的视觉感受，保证用户很好的使用。

附图说明

图1是一个实施例中的多屏互动方法的流程图；

图2是一个实施例中的多屏互动系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1是一个实施例中的多屏互动方法的流程图。如图1所示，该多屏互动方法包括如下步骤：

S10：移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的每帧媒体数据流中预设的连续标志位。

在启用多屏互动功能时，移动终端(优选为手机)通过无线方式与音视频终端(优选为机顶盒)建立连接，音视频终端将媒体数据流通过无线网发送到移动终端，移动终端也可对音视频终端进行相应控制，从而建立多屏互动。音视频终端在向移动终端发送媒体数据流时，先将媒体数据流循环缓存到自身的共享内存中。正常情况下，移动终端会同步读取接收音视频终端共享内存中缓存的媒体数据流并解码每帧媒体数据流。

为了解移动终端接收媒体数据流是否出现不连续的问题而导致发生卡顿问题，需要在移动终端对接收到的媒体数据流连续性进行监控。在该实施例中，预先在媒体数据流的每一帧中均预设有连续标志位，连续标志位用于标识媒体数据流每帧之间的连续关系。移动终端接收媒体数据流，解码获取接收到的每帧媒体数据流中的连续标志位，通过连续标志位所对应的连续关系，监控每一帧与上一帧是否连续。

故在进一步的实施方式中，该方法还包括：音视频终端对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。考虑到媒体数据流如果是TS流，而TS流的每一帧之中在前端已经预设有连续标志位，那么就不需要音视频终端再进行封装，为降低音视频终端封装的工作量，音视频终端对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位的步骤具体为：音视频终端对媒体数据流进行判断，如果媒体数据流为TS流，则不进行封装，否则对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。进一步的，连续标志位采用16为单位进行循环，且插入每一帧媒体数据流的头部。

S20：将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一。

在移动终端读取接收音视频终端分享的媒体数据流，接收到当前帧媒体数据流时，需要监控当前帧媒体数据流与上一帧是否连续。根据步骤S10获取当前帧和上一帧的连续标志位，并且将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，由于连续标志位能够标识两帧直接的连续关系，通过连续关系便可判断出当前帧媒体数据流与上一帧媒体数据流是否连续。例如，预设每帧媒体数据流的连续标志位差值为1，如果当前帧媒体数据流连续标志位与上一帧的连续标志位差值不为1，则两帧不连续，如果为1，则说明两帧连续。在判断出当前帧与上一帧不连续时，需要记录此次不连续的情况，不连续的次数增加，将不连续次数加一。

S30：判断不连续次数是否到达上限，如果到达上限，移动终端通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

在移动终端与音视频终端多屏互动过程中，如果出现网络问题，一定时间段内，不连续次数达到上限，即达到最大阈值，则此时可确定由于网络问题造成移动终端接收媒体数据流不连续过多，会导致移动终端接收数据缓慢延时，但音视频终端转码速率不变，从而造成音视频终端存入共享内存的速度比移动终端从共享内存中读取速度要快，这样就会造成共享内存数据溢出。当共享内存数据溢出后，音视频终端会对该共享内存中数据进行清空，如果出现长时间的网络抖动，就会造成音视频终端不断地间隔性清空共享内存，此时会进一步导致移动终端接收数据不完整，解码出来后就会导致卡顿问题，影响多屏互动体验。

同时，由于接收数据不完整，移动终端对不完整数据的解码时间增长(因为数据不完整，移动终端在解码时需要进行修复和调整，占用时间)，从而导致移动终端开始接收下一帧数据时间加长，这样就会造成移动终端读取音视频终端共享内存数据变慢，如果不及时处理，最终将导致在一定时间后这种情况达到了一种动态平衡，即音视频终端共享内存一直清空数据，移动终端一直出现卡顿现象，即使网络恢复正常了，此种动态平衡还会出现，卡顿的问题无法消除。

为及时解决出现的卡顿问题，防止进入动态平衡而无法消除，在该实施例中，根据步骤S20的不断比较判断，实时监控不连续次数。如果不连续次数达到上限，则采取处理措施。此时移动终端通知音视频终端不连续次数达到上限，音视频终端在接收到通知后，清空共享内存中的媒体数据流，重新存入新的媒体数据流。同时，移动终端也将已经接收的媒体数据流清空，并重新接收音视频终端重新存入的新的媒体数据流。这样，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的数据能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效打破动态平衡解决卡顿无法消除的问题。

在进一步的实施方式中，为保持不连续次数的时效性，判断不连续次数是否到达上限的步骤还包括：在设定时间内，判断不连续次数是否到达上限，如果未到达上限，则将不连续次数归零，并重新统计不连续次数。

此外，为使移动终端与音视频终端同步，移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流的步骤具体为：移动终端清空已接收的媒体数据流，并从音视频终端重新存入的新的媒体数据流中读取一帧对PCR(节目时钟参考)进行重置。对PCR校准重置后，移动终端就会去读取音视频终端重新存入的媒体数据流，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到动态平衡。

该多屏互动方法，在移动终端接收音视频终端媒体数据流时，对接收到的每帧媒体数据流的获取预设连续标志位，根据连续标志位判断当前帧和上一帧是否连续，并记录不连续次数，如果不连续次数到达上限，则通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效解决卡顿不能消除的问题，为用户带来流畅的视觉感受，保证用户很好的使用。

同时，本发明还提供一种多屏互动系统。如图2所示，该系统包括：

连续标志位获取单元100，移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的每帧媒体数据流中预设的连续标志位。

在启用多屏互动功能时，移动终端(优选为手机)通过无线方式与音视频终端(优选为机顶盒)建立连接，音视频终端将媒体数据流通过无线网发送到移动终端，移动终端也可对音视频终端进行相应控制，从而建立多屏互动。音视频终端在向移动终端发送媒体数据流时，先将媒体数据流循环缓存到自身的共享内存中。正常情况下，移动终端会同步读取接收音视频终端共享内存中缓存的媒体数据流并解码每帧媒体数据流。

为了解移动终端接收媒体数据流是否出现不连续的问题而导致发生卡顿问题，需要在移动终端对接收到的媒体数据流连续性进行监控。在该实施例中，预先在媒体数据流的每一帧中均预设有连续标志位，连续标志位用于标识媒体数据流每帧之间的连续关系。移动终端接收媒体数据流，连续标志位获取单元100解码获取接收到的每帧媒体数据流中的连续标志位，通过连续标志位所对应的连续关系，监控每一帧与上一帧是否连续。

故在进一步的实施方式中，该系统还包括：封装单元10，对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。考虑到媒体数据流如果是TS流，而TS流的每一帧之中在前端已经预设有连续标志位，那么就不需要再进行封装，为降低封装的工作量，封装单元10对媒体数据流进行判断，如果媒体数据流为TS流，则不进行封装，否则对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。进一步的，连续标志位采用16为单位进行循环，且插入每一帧媒体数据流的头部。

连续标志位比较单元200，将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一。

在移动终端读取接收音视频终端分享的媒体数据流，接收到当前帧媒体数据流时，需要监控当前帧媒体数据流与上一帧是否连续。连续标志位比较单元200根据当前帧和上一帧的连续标志位，并且将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，由于连续标志位能够标识两帧直接的连续关系，通过连续关系便可判断出当前帧媒体数据流与上一帧媒体数据流是否连续。例如，预设每帧媒体数据流的连续标志位差值为1，如果当前帧媒体数据流连续标志位与上一帧的连续标志位差值不为1，则两帧不连续，如果为1，则说明两帧连续。在判断出当前帧与上一帧不连续时，需要记录此次不连续的情况，不连续的次数增加，将不连续次数加一。

卡顿处理单元300，判断不连续次数是否到达上限，如果到达上限，通知音视频终端，由音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；并控制移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

在移动终端与音视频终端多屏互动过程中，如果出现网络问题，一定时间段内，不连续次数达到上限，即达到最大阈值，则此时可确定由于网络问题造成移动终端接收媒体数据流不连续过多，会导致移动终端接收数据缓慢延时，但音视频终端转码速率不变，从而造成音视频终端存入共享内存的速度比移动终端从共享内存中读取速度要快，这样就会造成共享内存数据溢出。当共享内存数据溢出后，音视频终端会对该共享内存中数据进行清空，如果出现长时间的网络抖动，就会造成音视频终端不断地间隔性清空共享内存，此时会进一步导致移动终端接收数据不完整，解码出来后就会导致卡顿问题，影响多屏互动体验。

同时，由于接收数据不完整，移动终端对不完整数据的解码时间增长(因为数据不完整，移动终端在解码时需要进行修复和调整，占用时间)，从而导致移动终端开始接收下一帧数据时间加长，这样就会造成移动终端读取音视频终端共享内存数据变慢，如果不及时处理，最终将导致在一定时间后这种情况达到了一种动态平衡，即音视频终端共享内存一直清空数据，移动终端一直出现卡顿现象，即使网络恢复正常了，此种动态平衡还会出现，卡顿的问题无法消除。

为及时解决出现的卡顿问题，防止进入动态平衡而无法消除，在该实施例中，卡顿处理单元300实时监控不连续次数。如果不连续次数达到上限，则采取处理措施。此时控制移动终端通知音视频终端不连续次数达到上限，音视频终端在接收到通知后，清空共享内存中的媒体数据流，重新存入新的媒体数据流。同时，控制移动终端也将已经接收的媒体数据流清空，并重新接收音视频终端重新存入的新的媒体数据流。这样，通过控制音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的数据能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效打破动态平衡解决卡顿无法消除的问题。

在进一步的实施方式中，为保持不连续次数的时效性，卡顿处理单元300在设定时间内，判断不连续次数是否到达上限，如果未到达上限，则将不连续次数归零，并重新统计不连续次数。

此外，为使移动终端与音视频终端同步，卡顿处理单元300控制移动终端清空已接收的媒体数据流，并从音视频终端重新存入的新的媒体数据流中读取一帧对移动终端PCR(节目时钟参考)进行重置。对PCR校准重置后，移动终端就会去读取音视频终端重新存入的媒体数据流，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到动态平衡。

该多屏互动系统，在移动终端接收音视频终端媒体数据流时，连续标志位获取单元100对接收到的每帧媒体数据流的获取预设连续标志位，连续标志位比较单元200根据连续标志位判断当前帧和上一帧是否连续，并记录不连续次数，如果不连续次数到达上限，卡顿处理单元300则通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效解决卡顿不能消除的问题，为用户带来流畅的视觉感受，保证用户很好的使用。

本发明多屏互动方法及系统，在移动终端接收音视频终端媒体数据流时，对接收到的每帧媒体数据流的获取预设连续标志位，根据连续标志位判断当前帧和上一帧是否连续，并记录不连续次数，如果不连续次数到达上限，则通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流，通过音视频终端和移动终端清空之前媒体数据流，使得移动终端不去接收解码不完整的数据，避免由于解码时间过长而导致接收下一帧数据变慢，使得音视频终端数据存入共享内存的速度与移动终端读取共享内存数据的速度达到同步，从而使得卡顿后的能恢复正常，最终解决直播或镜屏长时间卡顿问题，更有效解决卡顿不能消除的问题，为用户带来流畅的视觉感受，保证用户很好的使用。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多屏互动方法，其特征在于，包括如下步骤：

移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的插入每帧媒体数据头部中的预设的连续标志位；

将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一；

判断不连续次数是否到达上限，如果到达上限，移动终端通知音视频终端，音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

2.根据权利要求1所述的多屏互动方法，其特征在于，所述方法还包括：音视频终端对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。

3.根据权利要求2所述的多屏互动方法，其特征在于，所述音视频终端对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位的步骤具体为：音视频终端对媒体数据流进行判断，如果媒体数据流为TS流，则不进行封装，否则对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。

4.根据权利要求1所述的多屏互动方法，其特征在于，所述判断不连续次数是否到达上限的步骤还包括：

在设定时间内，判断不连续次数是否到达上限，如果未到达上限，则将不连续次数归零，并重新统计不连续次数。

5.根据权利要求1所述的多屏互动方法，其特征在于，所述移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流的步骤具体为：

移动终端清空已接收的媒体数据流，并从音视频终端重新存入的新的媒体数据流中读取一帧对PCR进行重置。

6.一种多屏互动系统，其特征在于，包括：

连续标志位获取单元，移动终端接收音视频终端共享内存发送的媒体数据流时，获取移动终端接收到的插入每帧媒体数据头部中的预设的连续标志位；

连续标志位比较单元，将当前帧媒体数据流的连续标志位与上一帧的连续标志位进行比较，判断当前帧媒体数据流与上一帧媒体数据流是否连续，若不连续，则将不连续次数加一；

卡顿处理单元，判断不连续次数是否到达上限，如果到达上限，通知音视频终端，由音视频终端将自身共享内存中的媒体数据流清空，重新存入新的媒体数据流；并控制移动终端清空已接收的媒体数据流，并重新接收音视频终端重新存入的新的媒体数据流。

7.根据权利要求6所述的多屏互动系统，其特征在于，所述系统还包括：封装单元，对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。

8.根据权利要求7所述的多屏互动系统，其特征在于，所述封装单元对媒体数据流进行判断，如果媒体数据流为TS流，则不进行封装，否则对媒体数据流进行封装，在每一帧媒体数据流中预设插入连续标志位。

9.根据权利要求6所述的多屏互动系统，其特征在于，所述卡顿处理单元在设定时间内，判断不连续次数是否到达上限，如果未到达上限，则将不连续次数归零，并重新统计不连续次数。

10.根据权利要求6所述的多屏互动系统，其特征在于，所述卡顿处理单元控制移动终端清空已接收的媒体数据流，并从音视频终端重新存入的新的媒体数据流中读取一帧对移动终端PCR进行重置。