CN103281500A - 处理视频的方法及装置 - Google Patents

Abstract

本发明公开一种处理视频的方法及装置，以解决现有的录制模式无法暂停且需要在录制结束后等待一个漫长的制作过程的问题。本发明公开的视频处理装置包括：数据采集模块，用于打开摄像头并采集视频数据；编码输出模块，用于对视频数据进行编码输出；以及与所述数据采集模块与编码输出模块连接的线程控制模块，用于控制所述数据采集模块的录线程与所述编码输出模块的制线程，使其：在视频正常录制过程中，采用边录边制方式；在捕捉到用户的暂停指令后，采用只摄不制方式；以及在捕捉到用户的恢复指令后，恢复正常的边录边制方式。本发明公开的方法及装置可以广泛应用于手机及数码相机等电子产品上。

Description

处理视频的方法及装置

技术领域

本发明涉及通信技术领域，尤其涉及一种处理视频的方法及装置。

背景技术

在移动互联网领域及数码产品领域，有视频录制功能的软件很多，但是他们只是实现了传统意义上的视频录制模式。传统的视频录制实现一般会直接将视频数据写入文件，当用户结束视频录制的时候再对视频进行编码等操作，这样视频录制时候会开销很大的存储器空间，而且录制结束后还需要用户等待一个漫长的制作过程；与此同时，一个视频在录制时只存在一个开始和一个结束，录制时没有暂停功能，这样既浪费了用户时间而且用户也只能拍出一些很平常的视频。

发明内容

本发明的主要目的在于公开一种处理视频的方法及装置，以解决现有的录制模式无法暂停且需要在录制结束后等待一个漫长的制作过程的问题。

为达上述目的，本发明实施例公开一种处理视频的方法，该方法包括：

在视频正常录制过程中，采用边录边制方式；

在捕捉到用户的暂停指令后，采用只摄不制方式；以及

在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

为达上述目的，本发明实施例还公开一种视频处理装置，包括：

数据采集模块，用于打开摄像头并采集视频数据；

编码输出模块，用于对视频数据进行编码输出；以及

与所述数据采集模块与编码输出模块连接的线程控制模块，用于控制所述数据采集模块的录线程与所述编码输出模块的制线程，使其：

在视频正常录制过程中，采用边录边制方式；

在捕捉到用户的暂停指令后，采用只摄不制方式；以及

在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

本发明实施例可广泛应用于数码相机及智能手机上，与现有技术相比，至少具有以下优点：

在视频录制过程中可以点暂停，并且采用边录边制的方式使得录制完成以后立马就能预览刚刚录制的视频；同时还便于实现简单的操作体验，录制方式包括但不限于：按住录制、松开暂停，这些录制方式，操作快捷，让用户可以根据自己的创意去创作更多有意思和有看点的视频，相当于给用户提供了一个便捷组合视频片段的编辑功能，也即给用户提供了一个展现自己精彩生活和创作魅力的平台；而且暂停时只摄不制的方式也便于为用户确定了一个比较好的角度或者场景后直接切换到正常的录制状态，确保了录制视频的质量，大大激发用户使用视频功能的兴趣。。

附图说明

图1是本发明实施例公开的处理视频的方法流程示意图；

图2是本发明实施例公开的视频处理装置框图。

具体实施方式

下面结合说明书附图对本发明的具体实现方式，以手机客户端为例，做一详细描述。

实施例一

本实施例公开一种手机客户端处理视频的方法。

如图1所示，该方法包括以下步骤：

步骤S1、在视频正常录制过程中，采用边录边制方式。

步骤S2、在捕捉到用户的暂停指令后，采用只摄不制方式。

步骤S3、在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

本发明实施例中，“录”主要指打开摄像头、采集并保存视频数据的线程；“制”主要指将相关的视频数据进行编码输出成特定格式的视频文件的线程；“摄”即“摄像”，主要指“录”线程中打开摄像头将其捕捉到的图像显示在手机显示屏供用户择取场景和角度的步骤，后续实施例不再赘述。

上述步骤中，暂停指令即用于暂停制线程的指令，恢复指令即用于恢复制线程的指令；可选的，录制和恢复指令可以是个按压动作，而相对应的暂停指令则可以是个释放按压的动作，以此实现一种点录的操作方式，即按压点击时录制，松手后自动暂停，操作极为简单方便。

本实施例中，边录边制方式包括：

方式一、录线程将视频数据写入一个内存缓存，制线程实时取出视频数据编码。

方式二、使用双缓冲技术，循环步骤包括：

步骤S11、通过系统API(Application Programming Interface，应用程序编程接口)得到视频数据后将其写入第一个文件，当数据达到一定阀值的时候暂停第一个文件的数据写入并通知制线程取数据并且编码，然后把视频数据写入第二个文件。

步骤S12、待制线程将该第一个文件的视频数据全部编码以后，录线程暂停第二个文件的数据写入并通知制线程开始对第二个文件进行编码，同时转步骤S11，由录线程开始将视频数据重新写入第一个文件。

值得说明的是：实践中，上述方式一通过将大容量原始视频数据经过编码压缩后直接写入文件，在安卓和IOS（苹果公司开发的手持设备操作系统）手机操作系统中都能得以顺利实施。方式二在IOS手机操作系统中能得以顺利实施，而且由于IOS设备的IO（Input/Output，输入输出）性能很高，将视频写入文件就可以大大节约内存的使用，使用双缓冲技术能避免抢锁，提高程序性能，因此IOS操作系统的客户端优选上述方式二的运行方式。

但在安卓手机操作系统中，由于种类多，各种类手机的IO性能差距很大，而且采集到的原始视频数据由于未压缩，数据量非常巨大，将该块数据写入永久存储器（存储卡）中所耗时长远大于该块数据记录的视频内容片断时间；导致数据不能及时写入，大量视频数据被迫缓存于临时存储器（内存），而临时存储器容量受限于Android设备硬件限制，无法满足需求，因此方式二容易最终导致安卓系统上的客户端程序无法正常运转而崩溃，所以使用双缓冲技术难以保证上述边录边制方式适用于所有机型。

因此目前Android系统方案为录线程采集到数据后通过临时存储器（内存）和信号控制机制通知制线程从内存取出数据立即开始编码压缩，将大容量原始数据经过编码压缩后直接写入文件。因为此时已经经过编码压缩的视频数据容量小，即使Android设备IO能力较弱，但是写入一小块数据也变得相对容易，不影响程序正常运行，解决了大量Android设备的兼容性适配问题。

本实施例中，在上述步骤S2所采用的只摄不制的方式中，实现时，其可以由录线程将相关视频保存在内存缓存或类似上述方式二中的相关文件中，然后再适时丢弃相关内存缓存或文件夹中废弃的视频数据，即将用户暂停后恢复前录线程所采集并写入内存缓存或文件夹的数据进行及时的丢弃处理；也可以是直接丢弃而不在内存缓存或相关文件中保存相关视频数据。比较前后两种方式：前种方式可以和正常的录制线程无缝对接但需要做及时地清理；后一种方式涉及到对录线程的拆分，实现略微复杂但无需择机清理，管理更方便。

本实施例中，在实施上述方式一时，优选的，由于编码开销非常大，所以只有制线程获取足够多的cpu资源才能快速对视频数据进行编码。因此可以通过调高制线程的线程优先级来使得制线程获取更多的CPU资源，藉此也可以解决大量Android设备的兼容性适配问题。实践中，通过调用系统下述API就可以控制线程的优先级：

Process.setThreadPriority(Process.THREAD_PRIORITY_AUDIO)。

进一步的，由于android各种手机的cpu性能不一样，如果cpu性能跟不上，就会出现制线程节奏跟不上录线程的节奏，会造成视频数据的堆积，为解决此问题，本实施例中的手机客户端会读取手机cpu个数，然后再根据手机cpu的个数来判断手机的编码性能，如果性能高，可设置为高像素的视频录入；如果性能低，则设置为低像素的视频录入；藉此以保证所有手机制线程能够及时的将录入的视频数据编码成功，解决大量Android设备的兼容性适配问题。实现时，高低像素可以通过系统提供的camera对象进行设置；例如：低端设备视频采样采用240*240分辨率，中档设备视频采样采用320*320分辨率，高端设备我们采用480*480分辨率；其中，低分辨率视频对编码压缩所需的CPU资源相对较少，通过区分不同质量的视频采集尺寸（即像素，又称图像的高宽），较好地保证了客户端的兼容适配性。

本实施例中，优选的视频编码输出格式为MP4（Moving Picture ExpertsGroup 4），其中编码输出包括编码视频数据并且写mp4文件，编码即将视频数据编码成指定的视频数据格式，写mp4文件即将编码好的视频数据写入文件并将该文件加入文件头以表示其是一个mp4文件，以便本地保存或将其上传至网络服务器供其他相关用户进行下载播放。其中，由于IOS播放器播放MP4文件时，音频只支持AAC格式，而android（安卓）系统录制的视频的声音是amr格式，其兼容性较差（很多设备不支持AMR语音解码），IOS将会无法播放，为此运行于android手机操作系统的客户端在录制视频时还需要将amr格式的声音数据转成基本是标准配备的AAC格式的数据，然后写mp4文件，这样IOS设备就能正常播放，从而达到平台互通的目的。

由于在会话中，客户端既可以是编码器，同时又可以是解码器。由于安卓手机操作系统的手机种类太多，尽管现有的Android系统提供一个Videoview控件可以用来播放视频，但是有些手机存在兼容性问题，导致本实施例编码输出的视频文件不能被正常播放，因此有待于进一步改进。为此，本实施例在视频播放时，采用自主封装的视频播放控件，通过将surfaceview和Mediaplayer（媒体播放器）绑定以解码播放视频。其中，MediaPlayer主要用来对视频进行解码等，surfaceview主要用来展现视频的界面。具体的绑定实现如下：

Surfaceview在创建成功以后会产生一个回调public void surfaceCreated（SurfaceHolder holder），得到该surfaceview的surfaceHolder，然后通过调用MediaPlayer.setDisplay（SurfaceHolder holder），之后调用MediaPlayer.setDataSource(Context context,Uri uri)，其中uri是需要播放的视频文件的存储路径，context是android上下文。如此MediaPlayer就可以和表现层（surfaceview）以及数据源（视频文件）绑定，最后调用MediaPlayer.start()开始播放视频。

上述描述中，Surfaceview和MediaPlayer的相关函数和API接口是安卓系统自带且开源的，为本领域技术人员可借助相关开发教程或查询安卓官网即能熟知的技术，在此不作详述。

在IOS手机操作系统中，当播放界面检测到本地存在视频文件时，首先创建视频控件AVPlayer（AVPlayer是一个可以播放任何格式的全功能影音播放器，适应于iPhone/iPod/iPad.可以通过itunes或者WiFi传输文件到播放器内，也可以通过内置的下载客户端直接从Ftp/Samba/UPnP等服务器中打开影音文件,或者下载文件，还做了内置的相片浏览器，可以看相片）需要的URL对象，并加载视频文件。由于加载文件有一定的延时，而如果采用AVPlayer控件自身的加载完成状态再播放视频时，客户端界面会有一定的黑屏时间。为此本实施例在运行于IOS手机操作系统的客户端上，还增设有下述步骤：

AVPlayer在加载视频文件完成后延时一段时间（例如：0.5秒）再播放以防止黑屏。

综上，本实施例提供的手机客户端处理视频的方法，在视频录制过程中可以点暂停，并且采用边录边制的方式使得录制完成以后立马就能预览刚刚录制的视频；同时还便于实现简单的操作体验，录制方式包括但不限于：按住录制、松开暂停，这些录制方式，操作快捷，让用户可以根据自己的创意去创作更多有意思和有看点的视频，相当于给用户提供了一个便捷组合视频片段的编辑功能，也即给用户提供了一个展现自己精彩生活和创作魅力的平台；而且暂停时只摄不制的方式也便于为用户确定了一个比较好的角度或者场景后直接切换到正常的录制状态，确保了录制视频的质量，大大激发用户使用视频功能的兴趣。

与上述实施例相对应的，下述实施例二还提供一种相应的手机客户端。

实施例二

如图2所示，本实施例提供的手机客户端包括：

数据采集模块1，用于打开摄像头并采集视频数据；

编码输出模块2，用于对视频数据进行编码输出；以及

与所述数据采集模块与编码输出模块连接的线程控制模块3，用于控制所述数据采集模块的录线程与所述编码输出模块的制线程，使其：

在视频正常录制过程中，采用边录边制方式；

在捕捉到用户的暂停指令后，采用只摄不制方式；以及

在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

本实施例中，可选的，上述数据采集模块与编码输出模块分别连接内存缓存，以供录线程将视频数据写入，并由制线程实时取出视频数据编码。

与上述方法中边录边制方式二所对应的，图1中的线程控制模块也可以使用双缓冲技术，循环步骤包括：

步骤S11、通过系统API得到视频数据后将其写入第一个文件，当数据达到一定阀值的时候暂停第一个文件的数据写入并通知制线程取数据并且编码，然后把视频数据写入第二个文件。

步骤S12、待制线程将该第一个文件的视频数据全部编码以后，录线程暂停第二个文件的数据写入并通知制线程开始对第二个文件进行编码，同时转步骤S11，由录线程开始将视频数据重新写入第一个文件。

可选的，上述线程控制模块还用于调高制线程的线程优先级，并在只摄不制方式下，适时丢弃相关内存缓存或文件夹中废弃的视频数据，即将用户暂停后恢复前录线程所采集并写入内存缓存或文件夹的数据进行及时的丢弃处理。

当上述手机客户端为运行于安卓系统的手机客户端时，较佳的，上述数据采集模块还用于读取手机cpu个数，根据手机cpu的个数来判断手机编码性能，进而设置与该编码性能相应的录制视频的像素。

当上述手机客户端为运行于安卓系统的手机客户端时，上述编码输出模块还用于将amr（Adaptive Multi-Rate）格式的声音数据转成AAC（AdvancedAudio Coding，高级音频编码）格式的数据后再编码输出MP4格式的视频。

较佳的，图2所示的客户端还可进一步包括一视频播放模块（图中未示出），用于通过将surfaceview和Mediaplayer绑定以解码播放视频；或者通过AVPlayer解码播放视频，并在加载视频文件完成后延时一段时间再播放以防止黑屏。

本实施例提供的手机客户端，在视频录制过程中可以点暂停，并且采用边录边制的方式使得录制完成以后立马就能预览刚刚录制的视频；同时还便于实现简单的操作体验，录制方式包括但不限于：按住录制、松开暂停，这些录制方式，操作快捷，让用户可以根据自己的创意去创作更多有意思和有看点的视频，相当于给用户提供了一个便捷组合视频片段的编辑功能，也即给用户提供了一个展现自己精彩生活和创作魅力的平台；而且暂停时只摄不制的方式也便于为用户确定了一个比较好的角度或者场景后直接切换到正常的录制状态，确保了录制视频的质量，大大激发用户使用视频功能的兴趣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，例如，上述实施例中的方法及装置可以移植于数码相机等电子产品上，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (16)

1.一种处理视频的方法，其特征在于，包括：

在视频正常录制过程中，采用边录边制方式；

在捕捉到用户的暂停指令后，采用只摄不制方式；以及

在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

2.根据权利要求1所述的处理视频的方法，其特征在于，所述边录边制方式包括：

录线程将视频数据写入一个内存缓存，制线程实时取出视频数据编码。

3.根据权利要求1所述的处理视频的方法，其特征在于，所述边录边制方式包括使用双缓冲技术，循环步骤包括：

步骤S11、通过系统API得到视频数据后将其写入第一个文件，当数据达到一定阀值的时候暂停第一个文件的数据写入并通知制线程取数据并且编码，然后把视频数据写入第二个文件；

步骤S12、待制线程将该第一个文件的视频数据全部编码以后，录线程暂停第二个文件的数据写入并通知制线程开始对第二个文件进行编码，同时转步骤S11，由录线程开始将视频数据重新写入第一个文件。

4.根据权利要求1至3任一所述的处理视频的方法，其特征在于，该方法应用于手机客户端，且该手机客户端的执行方法还包括：

调高制线程的线程优先级。

5.根据权利要求1至3任一所述的手机客户端处理视频的方法，其特征在于，该方法应用于手机客户端，且还包括：

读取手机cpu个数；

根据手机cpu的个数来判断手机编码性能，进而设置与该编码性能相应的录制视频的像素。

6.根据权利要求1至3任一所述的手机客户端处理视频的方法，其特征在于，该方法应用于安卓系统的手机客户端，且编码输出的视频格式为MP4，该方法还包括：

在编码输出前，将amr格式的声音数据转成AAC格式的数据。

7.根据权利要求1至3任一所述的手机客户端处理视频的方法，其特征在于，该方法应用于手机客户端，且还包括：

通过将surfaceview和Mediaplayer绑定以解码播放视频；或者

通过AVPlayer解码播放视频，并在加载视频文件完成后延时一段时间再播放以防止黑屏。

8.根据权利要求1至3任一所述的手机客户端处理视频的方法，其特征在于，还包括：

在只摄不制方式下，适时丢弃相关内存缓存或文件夹中废弃的视频数据。

9.一种视频处理装置，其特征在于，包括：

数据采集模块，用于打开摄像头并采集视频数据；

编码输出模块，用于对视频数据进行编码输出；以及

与所述数据采集模块与编码输出模块连接的线程控制模块，用于控制所述数据采集模块的录线程与所述编码输出模块的制线程，使其：

在视频正常录制过程中，采用边录边制方式；

在捕捉到用户的暂停指令后，采用只摄不制方式；以及

在捕捉到用户的恢复指令后，恢复正常的边录边制方式。

10.根据权利要求9所述的视频处理装置，其特征在于，所述数据采集模块与编码输出模块分别连接内存缓存，以供录线程将视频数据写入，并由制线程实时取出视频数据编码。

11.根据权利要求9所述的视频处理装置，其特征在于，所述线程控制模块使用双缓冲技术，循环步骤包括：

步骤S11、通过系统API得到视频数据后将其写入第一个文件，当数据达到一定阀值的时候暂停第一个文件的数据写入并通知制线程取数据并且编码，然后把视频数据写入第二个文件；

步骤S12、待制线程将该第一个文件的视频数据全部编码以后，录线程暂停第二个文件的数据写入并通知制线程开始对第二个文件进行编码，同时转步骤S11，由录线程开始将视频数据重新写入第一个文件。

12.根据权利要求9至11任一所述的视频处理装置，其特征在于，所述装置为手机客户端，所述线程控制模块还用于调高制线程的线程优先级。

13.根据权利要求9至11任一所述的视频处理装置，其特征在于，所述装置为手机客户端，所述数据采集模块还用于读取手机cpu个数，根据手机cpu的个数来判断手机编码性能，进而设置与该编码性能相应的录制视频的像素。

14.根据权利要求9至11任一所述的视频处理装置，其特征在于，所述装置为运行于安卓系统的手机客户端，且所述编码输出模块还用于将amr格式的声音数据转成AAC格式的数据后再编码输出MP4格式的视频。

15.根据权利要求9至11任一所述的视频处理装置，其特征在于，所述装置为手机客户端，该手机客户端还包括：

视频播放模块，用于通过将surfaceview和Mediaplayer绑定以解码播放视频；或者通过AVPlayer解码播放视频，并在加载视频文件完成后延时一段时间再播放以防止黑屏。

16.根据权利要求9至11任一所述的视频处理装置，其特征在于，所述线程控制模块还用于在只摄不制方式下，适时丢弃相关内存缓存或文件夹中废弃的视频数据。

Images