CN102447893B - 手机视频实时采集和发布的方法及系统 - Google Patents

Abstract

本发明公开了一种手机视频实时采集和发布的方法及系统，该方法包括：调用手机的或者与手机相连的麦克风和摄像头进行音视频采集；将采集到的原始音频数据和原始视频数据进行编码压缩，将编码后得到的音频编码数据和视频编码数据标记时戳；将音频编码数据和视频编码数据实时分片传输到视频服务器；视频服务器将音频编码数据和视频编码数据分别进行格式转换处理后根据时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成点播视频文件和直播视频文件；视频服务器将点播视频文件发送到存储设备，将直播视频文件发送到流媒体直播服务器，由流媒体直播服务器将直播视频文件解析后再转换成视频流数据通过网络进行实时发布。

Description

手机视频实时采集和发布的方法及系统

技术领域

本发明涉及一种移动终端的视频采集发布技术，尤其涉及一种手机视频实时采集和发布的方法及系统。

背景技术

随着移动通讯技术的发展和日趋成熟，移动通讯数据网络的带宽不断增大；同时，智能手机平台的推广，市场上的智能手机用户数量不断增加；手机终端和移动通讯网络的发展，为在手机终端开展数据业务提供了基础。目前，在手机终端开展的数据业务包括短信息、电子邮件、WAP服务和网络视频浏览，甚至越来越多的个人应用，如即时通讯，股票信息，位置信息等服务内容。

然而，现有的手机视频技术大都是对网络视频的浏览，而针对视频的采集，发布以及视频信息实时与其他手机用户或者互联网用户的分享则比较少。现有的手机音视频采集和分享技术，一般是用手机进行音视频拍摄后在手机上本地生成视频文件，再通过移动网络去发布，这样不仅占用手机的存储空间较大，并且由于其采集和发布时异步完成的，实时性也较差。

发明内容

本发明的目的在于提供一种手机视频实时采集和发布的方法及系统，以实现手机视频的同步实时采集和发布、边采集边发布，且占用很少的手机的存储空间。

为达到上述目的，本发明一方面提供了一种手机视频实时采集和发布的方法，包括以下步骤：

调用手机的或者与所述手机相连的麦克风和摄像头进行音视频采集；

将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；

将所述音频编码数据和视频编码数据通过移动通信网络进行实时分片传输到视频服务器；

所述视频服务器将所述音频编码数据和视频编码数据分别进行格式转换处理后，根据所述音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；

所述视频服务器将所点播视频文件发送到存储设备，而将所述直播视频文件发送到流媒体直播服务器，由所述流媒体直播服务器将所述直播视频文件解析后再转换成视频流数据通过网络进行实时发布。

本发明的手机视频实时采集和发布的方法，在所述将音频编码数据和视频编码数据通过网络实时传输到视频服务器之前，还包括：

将所述音频编码数据和视频编码数据进行缓冲处理。

本发明的手机视频实时采集和发布的方法，所述移动通信网络包括GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络。

再一方面，本发明还提供了一种手机视频实时采集和发布的系统，包括源手机终端、视频服务器和流媒体直播服务器，其中，所述源手机终端包括：

采集编码模块，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集，并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；

第一网络通讯模块，用于将所述音频编码数据和视频编码数据通过移动通信网络实时分片传输到所述视频服务器；

所述视频服务器包括：

第二网络通讯模块，用于实时接收所述第一网络通讯模块发送的音频编码数据和视频编码数据；

格式转换模块，用于将所述第二网络通讯模块接收到音频编码数据和视频编码数据分别进行格式转换处理；

同步混合模块，用于根据所述音频编码数据和视频编码数据的时戳对所述格式转换模块进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；

存储设备，用于存储所述点播视频文件；

所述流媒体直播服务器包括：

解析模块，用于读取所述同步混合模块生成的直播视频文件，对其进行解析；

转换模块，用于将所述解析模块解析后得到的数据转换成视频流数据；

发布模块，用于将所述转换模块得到的视频流数据通过网络进行实时发布。

本发明的手机视频实时采集和发布的系统，所述源手机终端还包括：

缓冲模块，用于缓冲输出所述采集编码模块得到的音频编码数据和视频编码数据至所述第一网络通讯模块。

本发明的手机视频实时采集和发布的系统，所述移动通信网络包括GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络。

本发明的手机视频实时采集和发布的技术方案，首先调用手机的或者与手机相连的麦克风和摄像头进行音视频采集；然后将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；其次将音频编码数据和视频编码数据通过移动通信网络实时分片传输到视频服务器；再次视频服务器将音频编码数据和视频编码数据分别进行格式转换处理后，根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；最后视频服务器将所点播视频文件发送到存储设备，而将直播视频文件发送到流媒体直播服务器，由流媒体直播服务器将所述直播视频文件解析并转换成视频流数据后通过网络进行实时发布。从而实现了手机视频的实时采集和发布，并且由于是采用边采集边发布，生成的音视频数据会实时发送到服务器上去，占用手机本身的存储空间很小，减少了整个采集和发布的时间，此外，由于视频服务器生成一路或多路点播视频文件和一路直播视频文件，既实现了视频的实时直播又实现了视频的异步点播。

附图说明

图1为本发明的手机视频实时采集和发布的方法流程图；

图2为本发明的手机视频实时采集和发布的系统；

图3为本发明的手机视频分享的方法流程图；

图4为本发明的手机视频分享的系统。

具体实施方式

下面结合附图对本发明的具体实施方式进行详细描述：

参考图1所示，本发明的手机视频实时采集和发布的方法包括如下步骤：

步骤S101、调用手机的麦克风和摄像头或者其他跟手机相连接的音频、视频采集设备进行音频和视频采集。

步骤S102、将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳，以备在视频服务器上进行同步处理。

步骤S103、将音频编码数据和视频编码数据进行缓冲处理。

步骤S104、将音频编码数据和视频编码数据通过移动通信网络实时分片传输到视频服务器。其中，移动通信网络可以选择GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络中的任意一种接入。由于移动通信网络的不稳定性，传输时还可利用现有的传输通道检测技术(如滑动窗口等)，根据网络现状自适应调整音频编码数据和视频编码数据的传输质量，包括每帧图像质量和帧率等，以保证音频编码数据和视频编码数据实时传输的可靠性。

步骤S105、视频服务器将音频编码数据和视频编码数据分别进行格式转换处理，可以将一种编码格式同时转成几种编码格式，以适应播放终端对视频格式的不同要求。

步骤S106、视频服务器根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件，从而为点播和实时直播提供了对应的格式视频文件。

步骤S107、视频服务器将所点播视频文件发送到存储设备，而将直播视频文件采用UDP、TCP协议流媒体服务器发送到流媒体直播服务器，由流媒体直播服务器将直播视频文件解析后再转换成视频流数据通过网络进行实时发布。

参考图2所示，本发明的手机视频实时采集和发布的系统，包括源手机终端1、视频服务器2和流媒体直播服务器3，其中：

源手机终端1包括采集编码模块11，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集，并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳。缓冲模块12，用于缓冲输出采集编码模块11得到的音频编码数据和视频编码数据至第一网络通讯模块13。第一网络通讯模块13，用于将音频编码数据和视频编码数据通过移动通信网络(如GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络等)实时分片传输到视频服务器2。

视频服务器2包括：第二网络通讯模块21，用于实时接收第一网络通讯模块13发送的音频编码数据和视频编码数据。格式转换模块22，用于将第二网络通讯模块21接收到的音频编码数据和视频编码数据分别进行格式转换处理。同步混合模块23，用于根据音频编码数据和视频编码数据的时戳对格式转换模块22进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件。存储设备24，用于存储点播视频文件，以备点播。

流媒体直播服务器3包括：解析模块31，用于读取同步混合模块23生成的直播视频文件，对其进行解析；转换模块32，用于将解析模块31解析后的得到的数据转换成视频流数据；发布模块33，用于将转换模块32得到的视频流数据通过网络进行实时发布。

本发明的手机视频实时采集和发布的技术方案，相比较现有技术在手机端生成音视频文件再进行服务器上传的方式，能够加快视频的上传时间。传统的手机端拍摄，本地存储，然后上传服务器的时间为拍摄时间+音视频文件传输时间；而本发明的手机视频实时采集和发布的技术方案，在视频采集的同时，进行分片数据上传，按照数据帧进行数据编码、压缩，传输，视频拍摄和上传的时间几乎同步，从而，减少了音视频文件生成后，再进行传送的时间。其次，传统方式对手机本身的存储空间的要求会大，即整个音视频文件都需要在手机本地进行存储，然后再发送到服务器上去，这样就要求手机本身的存储空间能够充分大，尤其是针对时间长，音视频质量要求高的音视频数据，这些数据需要高的存储空间。而本发明的手机视频实时采集和发布的技术方案，采用边采集边发布的方式，生成的音视频数据会实时发送到服务器上去，占用手机本身的存储空间很小，因为而不需要手机本地进行数据的完整存储。

上述介绍了本发明的手机视频实时采集和发布，接下来将描述如何分享这些视频资源。

参考图3所示，本发明的手机视频实时分享的方法，包括以下步骤：

步骤S301、源手机终端实时获取音频编码数据和视频编码数据并将其标记时戳后实时传输到视频服务器。

步骤S302、视频服务器将音频编码数据和视频编码数据分别进行格式转换处理，根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件，保存点播视频文件并将直播视频文件发送给流媒体直播服务器。

步骤S303、在生成点播视频文件和直播视频文件后，视频服务器返回点播视频文件和/或直播视频文件的视频属性数据给源手机终端或通讯代理设备，该视频属性数据包括视频的发布地址、视频流格式，视频文件大小和视频分辨率等信息。

步骤S304，源手机终端将该视频属性数据按照点对点短消息通讯协议封装成点对点短消息或按照WDP、WSP协议封装成WAP PUSH信息。为了区分这种包含视频信息数据的点对点短消息与WAP PUSH信息，可以对点对点短消息和WAP PUSH信息中包含的视频属性数据进行定义，以便于目标手机终端(即被分享手机终端)的识别，并提交和调用视频浏览器。如果是按照WDP、WSP协议封装成WAP PUSH信息，则一般采用XML文件定义，然后进行XML向WBXML文件转换，并按照WDP、WSP协议将WBXML文件封装成WAP PUSH信息，或者按照点对点短消息通讯协议将WAP PUSH信息再封装成点对点短消息。如果是按照点对点短消息通讯协议封装成点对点短消息，包含视频属性数据的点对点短消息的内容格式可以采用TLV(Tag，Length，Value)格式、XML文件、特殊分隔符分隔或者其他格式定义。例如采用TLV格式，其定义如下表所示，

其中，Tag用T字母代替，Length用L字母代替，Value用V字母代替。

步骤S305、源手机终端选择目标手机终端号码，通过移动通信网络将包含视频属性数据的点对点短消息发送到目标手机终端上，或通过移动通信网络的WAP网关将包含视频属性数据的WAP PUSH信息发送到目标手机终端上。

步骤S306、目标手机终端通过本地的点对点短消息通讯协议或WSP、WDP通讯协议将包含视频属性数据的点对点短消息或WAP PUSH信息进行解析，并进行相应的视频浏览处理。其处理方式有如下六种，可任意选择其一：

1、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后将对应的点播视频文件从视频服务器下载到本地后调用本地视频浏览器进行视频浏览。

2、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后调用本地视频浏览器对对应的点播视频文件按照流媒体播放方式进行视频浏览。

3、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后由本地视频浏览器采用流媒体协议实时的从流媒体直播服务器获取对应的直播视频流数据并播放。

4、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据将对应的点播视频文件从视频服务器下载到本地后进行视频浏览。

5、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据将对应的点播视频文件按照流媒体播放方式进行视频浏览。

6、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据并采用流媒体协议实时的从流媒体直播服务器获取对应的直播视频流数据并播放。

参考图4所示，本发明的手机视频分享的系统包括源手机终端1、视频服务器2、流媒体直播服务器3、目标手机终端4和通讯代理设备5，其中，源手机终端1包括：采集模块14，用于实时获取音频编码数据和视频编码数据并将其标记时戳后实时传输到视频服务器2；消息管理模块15，用于接收视频服务器2发送的点播视频文件和/或直播视频文件的视频属性数据，该视频属性数据包括点播视频文件和直播视频文件的发布地址、视频流格式，视频文件大小和视频分辨率等信息，将视频属性数据按照点对点短消息通讯协议封装成点对点短消息或按照WDP、WSP协议封装成WAP PUSH信息后通过移动通信网络发送至目标手机终端4。

而目标手机终端4包括：信息代理模块41，用于解析点对点短消息或WAP PUSH信息，获取点播视频文件和直播视频文件的视频属性数据。本地视频浏览器42，用于根据视频属性数据从视频服务器2获取对应的点播视频文件进行浏览，或者，根据视频属性数据从流媒体直播服务器3实时获取对应的直播视频流进行播放。

视频服务器2，包括：视频处理模块25，用于将源手机终端1发送的音频编码数据和视频编码数据分别进行格式转换处理，根据音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件。信息发送模块26，用于将视频处理模块25生成的点播视频文件和/或直播视频文件的视频属性数据发送给源手机终端1或通讯代理设备5，该视频属性数据包括点播视频文件的发布地址、视频流格式，视频文件大小和、视频分辨率、帧率、码流等信息，和/或直播视频文件的发布地址、视频流格式，视频文件大小、视频分辨率、帧率、码流等信息。

通讯代理设备5，用于当目标手机终端4订阅了分享源手机终端1的视频的业务时，将包含视频属性数据的信息推送到目标手机终端4上。

本发明的手机视频实时分享的技术方案中，点对点短消息或WAP PUSH信息中包含的视频属性数据能够完整的描述视频属性，从而能够让被分享的目标手机终端预先了解视频属性数据，以便在进行视频解码阶段能够进行优化选择，节省准备时间，避免出现解码、显示等错误而影响播放效果，并且采取点对点短消息或WAP PUSH信息的方式，能够在两个手机之间依靠移动通信网络通过无连接会话交互，建立数据通道，进行视频分享，并且这种移动通信网络的连接是普遍手机支持的方式，因此还可以实现点对多点的视频分享，从而扩大了视频分享的范围。当然，针对被分享手机中存在一个实时的连接到数据网络的监听端口，要分享的手机通过某种服务或者技术能够找到这个被分享手机中存在的实时的连接到数据网络的监听端口，则也可以将视频属性数据直接发送给被分享手机。

以上的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通工程技术人员对本发明的技术方案作出的各种变形和改进，例如将手机替换成PDA或其他移动终端设备，均应落入本发明的权利要求书确定的保护范围内。

Claims (6)

1.一种手机视频实时采集和发布的方法，其特征在于，包括以下步骤：

调用手机的或者与所述手机相连的麦克风和摄像头进行音视频采集；

将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩；

进行编码压缩的同时将编码后得到的音频编码数据和视频编码数据标记时戳；

将所述音频编码数据和视频编码数据通过移动通信网络进行实时分片传输到视频服务器；

所述视频服务器将所述音频编码数据和视频编码数据分别进行格式转换处理后，根据所述音频编码数据和视频编码数据的时戳对格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；

所述视频服务器将所点播视频文件发送到存储设备，而将所述直播视频文件发送到流媒体直播服务器，由所述流媒体直播服务器将所述直播视频文件解析后再转换成视频流数据通过网络进行实时发布；

还包括以下手机视频实时分享的步骤：

视频服务器返回点播视频文件和/或直播视频文件的视频属性数据给源手机终端或通讯代理设备，该视频属性数据包括视频的发布地址、视频流格式，视频文件大小和视频分辨率信息；

源手机终端将该视频属性数据按照点对点短消息通讯协议封装成点对点短消息或按照WDP、WSP协议封装成WAP PUSH信息；

源手机终端选择目标手机终端号码，通过移动通信网络将包含视频属性数据的点对点短消息发送到目标手机终端上，或通过移动通信网络的WAP网关将包含视频属性数据的WAP PUSH信息发送到目标手机终端上；

目标手机终端通过本地的点对点短消息通讯协议或WSP、WDP通讯协议将包含视频属性数据的点对点短消息或WAP PUSH信息进行解析，并进行相应的视频浏览处理；

所述点对点短消息包含的视频属性数据采用TLV格式，其结构定义如下表所示：

其中，Tag用T字母代替，Length用L字母代替，Value用V字母代替；

所述视频浏览处理步骤包括如下步骤中的一个：

步骤1、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后将对应的点播视频文件从视频服务器下载到本地后调用本地视频浏览器进行视频浏览；

步骤2、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后调用本地视频浏览器对对应的点播视频文件按照流媒体播放方式进行视频浏览；

步骤3、目标手机终端的用户查看解析出的视频属性数据选择与之匹配的本地视频浏览器，将视频属性数据传送给本地视频浏览器，然后由本地视频浏览器采用流媒体协议实时的从流媒体直播服务器获取对应的直播视频流数据并播放；

步骤4、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据将对应的点播视频文件从视频服务器下载到本地后进行视频浏览；

步骤5、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据将对应的点播视频文件按照流媒体播放方式进行视频浏览；

步骤6、目标手机终端调用与之匹配的本地视频浏览器，由本地视频浏览器根据解析出的视频属性数据并采用流媒体协议实时的从流媒体直播服务器获取对应的直播视频流数据并播放。

2.根据权利要求1所述的手机视频实时采集和发布的方法，其特征在于，在所述将音频编码数据和视频编码数据通过移动通信网络进行实时分片传输到视频服务器之前，还包括：将所述音频编码数据和视频编码数据进行缓冲处理；

在进行所述实时分片传输时，根据网络状态调整音频编码数据和视频编码数据的传输质量。

3.根据权利要求2所述的手机视频实时采集和发布的方法，其特征在于，所述移动通信网络包括GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络。

4.一种手机视频实时采集和发布的系统，用于执行如权利要求1所述的手机视频实时采集和发布方法，其特征在于，包括源手机终端、视频服务器和流媒体直播服务器，其中，所述源手机终端包括：

采集编码模块，用于调用自身的或者与自身相连的麦克风和摄像头进行音视频采集，并将采集到的原始音频数据和原始视频数据按照数据帧进行编码压缩，同时将编码后得到的音频编码数据和视频编码数据标记时戳；

第一网络通讯模块，用于将所述音频编码数据和视频编码数据通过移动通信网络实时分片传输到所述视频服务器；

所述视频服务器包括：

第二网络通讯模块，用于实时接收所述第一网络通讯模块发送的音频编码数据和视频编码数据；

格式转换模块，用于将所述第二网络通讯模块接收到音频编码数据和视频编码数据分别进行格式转换处理；

同步混合模块，用于根据所述音频编码数据和视频编码数据的时戳对所述格式转换模块进行格式转换处理后的音频编码数据和视频编码数据进行同步与混合，生成一路或多路点播视频文件和一路直播视频文件；

存储设备，用于存储所述点播视频文件；

所述流媒体直播服务器包括：

解析模块，用于读取所述同步混合模块生成的直播视频文件，对其进行解析；

转换模块，用于将所述解析模块解析后得到的数据转换成视频流数据；

发布模块，用于将所述转换模块得到的视频流数据通过网络进行实时发布；

还包括用于分享的目标手机终端，目标手机终端包括：信息代理模块，用于解析点对点短消息或WAP PUSH信息，获取点播视频文件和直播视频文件的视频属性数据；

还包括通讯代理设备，用于当目标手机终端订阅了分享源手机终端的视频的业务时，将包含视频属性数据的信息推送到目标手机终端上。

5.根据权利要求4所述的手机视频实时采集和发布的系统，其特征在于，所述源手机终端还包括：

缓冲模块，用于缓冲输出所述采集编码模块得到的音频编码数据和视频编码数据至所述第一网络通讯模块。

6.根据权利要求5所述的手机视频实时采集和发布的系统，其特征在于，所述移动通信网络包括GSM、CDMA、CDMA2000、WCDMA、TD-SCDMA、WiMax或WiFi网络。