CN105530479A - 一种基于移动终端的视频数据处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于移动终端的H264视频数据处理方法及系统，能够在Android移动终端实现H264视频数据的稳定播放显示，具体地，该方法包括：Android端接收来自视频采集端的H264视频数据包，对H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将组帧后的视频数据存入共享内存；底层解码端通过共享内存与Android端进行对组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；Android端从共享内存提取解码后的视频数据。可见，本发明充分利用了移动终端的内存空间，有效解决了现有技术中因频繁的拷贝操作和转换操作导致解码不及时进而造成数据交互出现阻塞的问题。

Description

一种基于移动终端的视频数据处理方法及系统

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于移动终端的视频数据处理方法及系统。

背景技术

当今，随着4G网络的普及和视频监控在个人、物业及智能楼宇上的广泛应用，人们越来越关注和重视基于移动终端的远程视频监控。

在实际应用中，具有视频监控功能的移动终端主要通过通信网络获取摄像头端采集到的视频数据，然后在对视频数据进行拆包、组帧、解码以及渲染等处理之后进行显示。

然而，在Android移动终端对视频数据进行处理的过程中，存在如下问题：在对组帧后的视频数据进行解码的过程中，需要Android端(即SDK层)与底层解码端(即NDK层)进行频繁的数据交互并且是基于拷贝机制实现数据的交互。频繁的数据交互意味着频繁的拷贝操作，并且当两端运行的程序语言是不一样时需要互相转换来适应彼此，而频繁的拷贝操作和转换操作都需要消耗一段时间，这样易造成解码不及时进而造成数据交互出现阻塞，最终会造成前端显示出现抖动、大量花屏甚至程序崩溃的问题。

发明内容

有鉴于此，本发明提供了一种基于移动终端的视频数据处理方法及系统，以解决现有技术中因频繁的拷贝操作和转换操作导致解码不及时进而造成数据交互出现阻塞的问题。

为解决上述技术问题，本发明提供一种基于移动终端的H264视频数据处理方法，该方法包括：

Android端接收来自视频采集端的H264视频数据包，对所述H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将所述组帧后的视频数据存入共享内存；

底层解码端通过所述共享内存与所述Android端进行对所述组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；

所述Android端从所述共享内存提取所述解码后的视频数据。

上述方法中，优选的，所述Android端与所述底层解码端之间通过共享内存地址来实现所述数据交互。

上述方法中，优选的，在所述Android端从所述共享内存提取所述解码后的视频数据之后，还包括：

对所述解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

上述方法中，优选的，在将所述渲染得到的视频数据转为所述位图数据之后，还包括：

将所述位图数据按预设分段规则分段缓存至环形数据缓冲区；

利用SurfaceView组件将所述环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。

上述方法中，优选的，所述底层解码端利用FFmpeg解码库对所述组帧后的视频数据进行解码。

本发明还提供了一种基于移动终端的H264视频数据处理系统，该系统包括：

Android端，用于接收来自视频采集端的H264视频数据包，对所述H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将所述组帧后的视频数据存入共享内存；

底层解码端，用于通过所述共享内存与所述Android端进行对所述组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；

所述Android端还用于从所述共享内存提取所述解码后的视频数据。

上述系统中，优选的，所述Android端与所述底层解码端之间通过共享内存地址来实现所述数据交互。

上述系统中，优选的，所述Android端还用于在从所述共享内存提取所述解码后的视频数据之后，对所述解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

上述系统中，优选的，所述Android端还用于在将所述渲染得到的视频数据转为所述位图数据之后，将所述位图数据按预设分段规则分段缓存至环形数据缓冲区；利用SurfaceView组件将所述环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。

上述系统中，优选的，所述底层解码端用于对所述组帧后的视频数据进行解码，包括：

所述底层解码端具体用于利用FFmpeg解码库对所述组帧后的视频数据进行解码。

以上本发明提供的一种基于移动终端的视频数据处理方法及系统，能够在Android移动终端实现H264视频数据的稳定播放显示，具体地，Android端接收来自视频采集端的H264视频数据包，对所述H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将所述组帧后的视频数据存入共享内存；底层解码端通过所述共享内存与所述Android端进行对所述组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；所述Android端从所述共享内存提取所述解码后的视频数据。可见，本发明充分利用了移动终端的内存空间，在Android端与底层解码端进行频繁的数据交互时，可以直接从共享内存中读取或写入数据，并不需要拷贝操作，同时也减少了两端所用编程语言不一致需要转换所需时耗。因此，本发明有效解决了现有技术中因频繁的拷贝操作和转换操作导致解码不及时进而造成数据交互出现阻塞的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种基于移动终端的H264视频数据处理方法的流程图；

图2为本发明实施例提供的Android端和底层解码端之间的数据交互示意图；

图3为本发明实施例提供的一种轻量级的高性能异步处理框架示意图；

图4为本发明实施例提供的一种基于移动终端的H264视频数据处理系统的结构框图示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的核心是提供一种基于移动终端的视频数据处理方法及系统，以解决现有技术中因频繁的拷贝操作和转换操作导致解码不及时进而造成数据交互出现阻塞的问题。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

参考图1，图1示出了本发明实施例提供的一种基于移动终端的H264视频数据处理方法的流程图，该方法具体可以包括如下步骤：

步骤S100、Android端接收来自视频采集端的H264视频数据包，对H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将组帧后的视频数据存入共享内存。

本发明实施例提供的方法的执行主体为基于移动终端的H264视频数据处理系统，在实际应用中，该系统以软件的形式承载于移动终端，并且，本发明主要针对的是基于Android的移动终端，比如智能手机、平板等等。为便于本领域技术人员理解本发明所提供的技术方案，以下以移动终端为执行主体进行方案阐述。

本发明中，移动终端包括Android端和底层解码端，底层解码端负责与Android端进行数据交互实现解码操作，其它的操作内容有由Android端来处理。具体地，Android端包括预处理模块和播放模块：

预处理模块主要负责执行步骤S100，其目的在于提供一种自定义的基于Java语言的RTP(Real-timeTransportProtocol，实时传输协议)拆包方法及实现RTP数据包信息缓存的序列化组件，以实现基于Android平台下的针对H264视频数据的拆包组帧组件，进而解决与Android系统内核的兼容性问题及在码流不稳定的情况下视频数据会出现乱序、丢包情况的问题。在具体实施过程中，对预处理模块进行自定义设置，具体地，预处理模块可以包括RTP包信息缓存序列化组件H264RTPBuffer，RTP缓存拆包组件H264RTPDemultiplexer及RTP包分析组件H264BufferUtils。这三个组件能够配合协作实现RTP包的拆包组帧，并将组帧后的视频数据通过共享内存传递至底层解码端。

其中，上述H264RTPBuffer组件用于缓存RTP荷载、视频文件数据格式、帧率、分辨率、时间戳等信息，并提供一个掩模标志FLAG描述当前H264RTPBuffer的布尔属性。上述H264RTPDemultiplexer组件主要实现RTP包的解耦合，并缓存组帧数据。上述H264BufferUtils用于对分片包数据类型进行分析，判断每一个输入分片包的帧类型，如单帧、分片帧判断，SPS、PPS、I帧及P帧判断。

对于上述预处理模块而言，其使用Java语言能实现与Android平台无缝对接。通过H264RTPBuffer组件缓存数据，对于荷载数据的读取更加方便，且可根据需要扩展数据类型，序列号及FLAG掩模标志的设置则能避免帧乱序的发生。

另外，对于Android端中的播放模块，其详细内容参见后文。

步骤S101、底层解码端通过共享内存与Android端进行对组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据。

本发明中，底层解码端利用FFmpeg解码库对组帧后的视频数据进行解码。

参考图2示出的Android端和底层解码端之间的数据交互示意图，具体地，在实际应用中，执行视频数据拆包组帧及播放的Android端是基于Java语言实现的，而执行解码操作的底层解码端是通过C语言实现的。为了减少两端所用编程语言不一致需要转换所需时耗，本发明利用移动终端的内存空间，为Android端和底层解码端在解码过程中的数据交互分配共享内存，并且两者通过共享JNI层内存地址的传递，底层代码可以直接对内存中数据进行处理，实现Android端与底层代码的同步变化。

在具体实施过程中，为Android端分别配输入输出两段内存，通过JNI层地址值的传递，FFmpeg解码端能够通过地址读取共享内存中内容做处理，并将数据输出到输出分配内存，由于数据同步变化，Android端可以实现直接对输出缓存数据做处理。相比传统的基于数据拷贝机制的传递，虽然内存的创建需要一定的时间，但对于流式应用场景，数据需要频繁的交互，该方法效率更高，且能防止数据阻塞造成丢包。

步骤S102、Android端从共享内存提取解码后的视频数据。

在Android端从共享内存提取解码后的视频数据之后，还需要对解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

在将渲染得到的视频数据转为位图数据之后，由Android端中的播放模块将位图数据按预设分段规则分段缓存至环形数据缓冲区；利用SurfaceView组件将环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。具体地，在调用Android下的SurfaceView双缓冲机制实现视频显示的前提下，引入Disruptor，提供一种轻量级的高性能异步处理框架(即环形异步缓冲机制)对数据做缓冲，这一框架构建在Android平台上，能够在无锁的情况下事件的并发操作，业务逻辑完全运行在内存中。

可见，本发明充分利用了移动终端的内存空间，在Android端与底层解码端进行频繁的数据交互时，可以直接从共享内存中读取或写入数据，并不需要拷贝操作，同时也减少了两端所用编程语言不一致需要转换所需时耗。因此，本发明有效解决了现有技术中因频繁的拷贝操作和转换操作导致解码不及时进而造成数据交互出现阻塞的问题，进而实现低时延的移动终端视频监控，同时显著提高了用户体验性及系统的稳定性。

另外，相对于队列的缓冲机制，本发明提供的播放模块在进行数据缓冲的过程中具有非常低的延迟，非常快速的处理和高吞吐量，而且没有并发代码的复杂性，进而能够解决现有技术中高并发下视频播放闪烁、卡死的问题。进一步提高了用户体验性及系统的稳定性。

综上，本发明所提供的技术方案实时处理延时性低，能有效解决实时视频数据播放花屏，卡顿的问题，且适用于高并发的场景，吞吐性好，内存资源利用率高，系统稳定高效。

基于上述本发明实施例所公开的技术方案，本实施例中，基于实际应用，对上述实施例提及的将位图数据按预设分段规则分段缓存至环形数据缓冲区；利用SurfaceView组件将环形数据缓冲区中的缓存数据绘制到播放面板并进行播放的具体过程进行详细叙述，参考图3示出的一种轻量级的高性能异步处理框架示意图，具体如下：

这个轻量级的高性能异步处理框架构建在Android平台上，对数据做缓冲的过程中，能够在无锁的情况下事件的并发操作，业务逻辑完全运行在内存中。该框架中，将按预设分段规则进行分段后的位图数据保存在环形数据缓冲区中。如图，环形数据缓冲区{s1,s2,s3,…,sn}一共有n个槽位(即元素)，每个槽位都有一个序列号来索引，在进行数据缓冲过程中，这一序列号一直递增。环形数据缓冲区维护当前最新放置的元素序列号，序列号通过求余运算来得到当前槽位。比如，n＝8，序列号为14，14除以8余6，所以序列号14对应的槽位是s6。

进一步地，输入子线程将经过解码渲染等处理后得到的位图数据写入环形数据缓冲区：首先，需要申请确定环形数据缓冲区下的一个空闲槽，环形数据缓冲区维护最后一次写入的序列号，因此可以推知下一个空闲的序列号。对是否空闲的判断通过消息检查实现。当输入子线程拿下一个序列号之后，将位图数据存入从环形数据缓冲区里拿到的对象。由于环形数据缓冲区中的最新序号依然是当前序号，因此读取子线程无法读取到申请缓冲区里面的事件。当处理完申请序列号内存中的数据，并在环形数据缓冲区发布更新之后，读取子线程才能读取它。

读取子线程读取环形数据缓冲区里的数据，当需要从缓冲区中读取数据时，输入子线程向缓冲区要求下一个可以写入的空闲槽序列号，同时消息检查机制也会维护最后所处理的序列号，并要求下一个可处理的输出序列号。这种模式提供了很好的批处理能力，最后将输出数据通过Android提供的Surface组件绘制到屏幕上显示。

基于上述本发明实施例提供的基于移动终端的H264视频数据处理方法，本发明实施例还提供了一种基于移动终端的H264视频数据处理系统，参考图4，该系统400可以包括如下内容：

Android端401，用于接收来自视频采集端的H264视频数据包，对H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将组帧后的视频数据存入共享内存；

底层解码端402，用于通过共享内存与Android端进行对组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；

Android端401还用于从共享内存提取解码后的视频数据。

本发明中，Android端401与底层解码端402之间通过共享内存地址来实现数据交互。

本发明中，Android端401还用于在从共享内存提取解码后的视频数据之后，对解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

另外，Android端401还用于在将渲染得到的视频数据转为位图数据之后，将位图数据按预设分段规则分段缓存至环形数据缓冲区；利用SurfaceView组件将环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。

本发明中，底层解码端402用于对组帧后的视频数据进行解码，包括：底层解码端402具体用于利用FFmpeg解码库对组帧后的视频数据进行解码。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

以上对本发明所提供的一种基于移动终端的H264视频数据处理方法及系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于移动终端的H264视频数据处理方法，其特征在于，该方法包括：

Android端接收来自视频采集端的H264视频数据包，对所述H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将所述组帧后的视频数据存入共享内存；

底层解码端通过所述共享内存与所述Android端进行对所述组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；

所述Android端从所述共享内存提取所述解码后的视频数据。

2.如权利要求1所述的方法，其特征在于，所述Android端与所述底层解码端之间通过共享内存地址来实现所述数据交互。

3.如权利要求1所述的方法，其特征在于，在所述Android端从所述共享内存提取所述解码后的视频数据之后，还包括：

对所述解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

4.如权利要求1至3任意一项所述的方法，其特征在于，在将所述渲染得到的视频数据转为所述位图数据之后，还包括：

将所述位图数据按预设分段规则分段缓存至环形数据缓冲区；

利用SurfaceView组件将所述环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。

5.如权利要求4所述的方法，其特征在于，所述底层解码端利用FFmpeg解码库对所述组帧后的视频数据进行解码。

6.一种基于移动终端的H264视频数据处理系统，其特征在于，该系统包括：

Android端，用于接收来自视频采集端的H264视频数据包，对所述H264视频数据包进行拆包组帧操作，得到组帧后的视频数据，并将所述组帧后的视频数据存入共享内存；

底层解码端，用于通过所述共享内存与所述Android端进行对所述组帧后的视频数据进行解码过程中的数据交互，得到解码后的视频数据；

所述Android端还用于从所述共享内存提取所述解码后的视频数据。

7.如权利要求6所述的系统，其特征在于，所述Android端与所述底层解码端之间通过共享内存地址来实现所述数据交互。

8.如权利要求6所述的系统，其特征在于，所述Android端还用于在从所述共享内存提取所述解码后的视频数据之后，对所述解码后的视频数据进行渲染操作，并将渲染得到的视频数据转为位图数据。

9.如权利要求6至8任意一项所述的系统，其特征在于，所述Android端还用于在将所述渲染得到的视频数据转为所述位图数据之后，将所述位图数据按预设分段规则分段缓存至环形数据缓冲区；利用SurfaceView组件将所述环形数据缓冲区中的缓存数据绘制到播放面板并进行播放。

10.如权利要求9所述的系统，其特征在于，所述底层解码端用于对所述组帧后的视频数据进行解码，包括：

所述底层解码端具体用于利用FFmpeg解码库对所述组帧后的视频数据进行解码。