CN107613357B

CN107613357B - 声画同步优化方法、装置及可读存储介质

Info

Publication number: CN107613357B
Application number: CN201710826396.9A
Authority: CN
Inventors: 邓一雷; 陈金源; 廖宇辉
Original assignee: Guangzhou Kugou Computer Technology Co Ltd
Current assignee: Guangzhou Kugou Computer Technology Co Ltd
Priority date: 2017-09-13
Filing date: 2017-09-13
Publication date: 2020-05-19
Anticipated expiration: 2037-09-13
Also published as: CN107613357A

Abstract

本发明公开一种声画同步优化方法，应用于视频录制，包括以下步骤：在图像采集阶段，播放音频数据并读取该音频数据的显示时间戳；将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定；在图像编码阶段，判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同；若相同，则继续编码下一帧图像数据，否则丢弃当前编码的图像数据。本发明还公开一种声画同步优化装置及计算机可读存储介质。本发明可以实现视频录制过程中的声音与画面同步，进而提升用户观看视频的使用体验。

Description

声画同步优化方法、装置及可读存储介质

技术领域

本发明涉及视频录制技术领域，尤其涉及一种声画同步优化方法、装置及可读存储介质。

背景技术

随着网络信息技术的越来越成熟，越来越多的移动应用功能被不断扩展并逐渐融入人们的日常生活中，比如娱乐搞笑小视频，用户通过手机摄像头录制各种小视频，然后再通过网络进行分享，此类小视频通常都是语音与画面同时进行录制的。

为进一步丰富小视频的搞笑内容，现有移动应用中出现了只录制画面，然后再将录制的画面与已编码的声音进行合成，进而形成小视频的实现方式，此类方式虽然通过声音提升了小视频的搞笑程度，但由于声音与画面不是同步录制，同时不同手机的性能不一样且摄像头的采集帧率不恒定，进而导致播放的小视频经常出现声音画面不同步的问题，降低了用户观看小视频的使用体验。

发明内容

本发明的主要目的在于提供一种声画同步优化方法、装置及可读存储介质，旨在解决如何实现视频录制过程中声音与画面同步的技术问题。

为实现上述目的，本发明提供一种声画同步优化方法，应用于视频录制，所述声画同步优化方法包括以下步骤：

在图像采集阶段，播放音频数据并读取该音频数据的显示时间戳；

将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定；

在图像编码阶段，判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同；

若相同，则继续编码下一帧图像数据，否则丢弃当前编码的图像数据。

可选地，在播放音频数据之前，所述声画同步优化方法还包括：

从服务端下载录制视频所采用的音频数据及其对应文字内容，并在播放音频数据时，显示所述文字内容。

可选地，所述声画同步优化方法还包括：

将已编码的图像数据及下载的音频数据进行音视频编码，得到录制的视频文件并保存。

可选地，所述声画同步优化方法还包括：

在进入视频文件编辑模式时，基于用户操作，依序预览显示所述视频文件的各帧图像数据；

对预览显示的图像数据进行编辑处理，以供在所述视频文件中新增或删除图像数据。

可选地，在将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定之前，所述声画同步优化方法还包括：

获取当前播放的音频数据的采样频率；

基于该音频数据的采样频率，调整当前图像数据的采集帧率。

进一步地，为实现上述目的，本发明还提供一种声画同步优化装置，应用于视频录制，所述声画同步优化装置包括：

存储有声画同步优化程序的存储器；

处理器，配置为执行所述声画同步优化程序以执行下述操作：

可选地，在执行播放音频数据之前，所述处理器还执行所述声画同步优化程序以执行下述操作：

可选地，所述处理器还执行所述声画同步优化程序以执行下述操作：

进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有声画同步优化程序，所述声画同步优化程序被处理器执行时实现如上述任一项所述的声画同步优化方法的步骤。

本发明中，在图像采集阶段，依次将采集的一帧图像数据与播放的一帧音频数据的显示时间戳进行绑定，然后在图像编码阶段，判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同；若相同，则当前一帧图像数据符合同步要求，并继续编码下一帧图像数据，否则当前一帧图像数据不符合同步要求，进而丢弃当前编码的图像数据。本发明的优化方式实现了视频录制过程中的声音与画面同步，进而提升了用户观看视频的使用体验。

附图说明

图1为本发明实施例方案涉及的声画同步优化装置运行环境的结构示意图；

图2为本发明声画同步优化方法一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的声画同步优化装置运行环境的结构示意图。

本发明中，声画同步优化装置可以是智能自动终端，比如智能手机、IPAD等，也可以是带摄像功能的计算机、笔记本等。

如图1所示，该声画同步优化装置可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005，摄像头1006。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。摄像头1006用于拍摄录制视频。

本领域技术人员可以理解，图1中示出的声画同步优化装置的硬件结构并不构成对声画同步优化装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及计算机程序，比如声画同步优化程序等。其中，操作系统是管理和控制声画同步优化装置与软件资源的程序，支持网络通信模块、用户接口模块、声画同步优化程序以及其他程序或软件的运行；网络通信模块用于管理和控制通信总线1002；用户接口模块用于管理和控制用户接口1003。

在图1所示的声画同步优化装置硬件结构中，网络接口1004主要用于连接网络进行数据通信；用户接口1003主要用于连接用户端，与用户端进行数据通信；声画同步优化装置通过处理器1001调用存储器1005中存储的声画同步优化程序，以执行以下操作：

在图像采集阶段，播放已编码的音频数据，并将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定；

进一步地，所述声画同步优化装置通过处理器1001调用存储器1005中存储的声画同步优化程序，以执行以下操作：

获取当前播放的音频数据的采样频率；

基于音频数据的采样频率，调整当前图像数据的采集帧率。

基于上述声画同步优化装置硬件结构，提出本发明声画同步优化方法的各个实施例。

参照图2，图2为本发明声画同步优化方法一实施例的流程示意图。本实施例应用于视频录制，声画同步优化方法包括以下步骤：

步骤S10，在图像采集阶段，播放音频数据并读取该音频数据的显示时间戳；

步骤S20，将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定；

本实施例中，声画同步具体是指播放的视频中声音与画面的协调一致，进而可加强画面的真实感，提高视觉形象的感染力。本实施例对于图像采集的具体处理方式及过程不限，具体根据实际需要进行设置。

本实施例中，声画同步优化装置仅采集图像数据进行视频录制，也即在视频录制过程中，禁止麦克风工作，从而实现无声拍摄。本实施例对于声画同步优化装置采集的图像数据不限，例如，采集用户自身的表演及用户当前所处环境所形成的图像数据。

可选的，音频数据的类型至少包括：影视剧对话或歌曲，进而便于用户模仿歌词或对话，拍摄小视频。

在图像采集阶段，声画同步优化装置在采集图像数据的同时，还播放已编码的音频数据，一方面便于用户根据播放的声音进行相应表演，比如播放的是电影台词，则用户根据播放的台词而对相应的口型、脸部表情等；而另一方面，则可在播放的过程中，将音频数据与图像数据进行显示时间戳的绑定。

显示时间戳(presentation time stamp，简称pts)，在对视频帧或音频帧进行编码时写入的重要参数，主要用于度量解码后的视频帧或音频帧什么时候被显示出来。

本实施例中，在播放已编码的音频数据时，将解码得到每一帧音频数据的显示时间戳，同时，在采集到一帧图像数据时，将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定，以便在图像编码阶段时，用于声音与画面的优化处理。

步骤S30，在图像编码阶段，判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同；

步骤S40，若相同，则继续编码下一帧图像数据，否则丢弃当前编码的图像数据。

由于人的眼睛生理特性，通常为保证视频的正常观赏效果，对于视频图像的播放都有比较固定的设置，比如视频图像的显示频率为25fps，也即1秒内播放25帧图像，因此，如果按照此类方式设置每一帧图像的显示时间戳的话，必然会与音频数据的显示时间戳不同步，进而导致声音或画面存在延迟。

本实施例中，一帧图像数据实际编码的显示时间戳即为后续播放时的显示时间点，因此，在图像编码阶段，在完成一帧图像数据的显示时间戳的编码后，声画同步优化装置再进一步判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同，若相同，则说明当前一帧图像数据在后续视频播放时可以与对应的音频数据同步，而若不相同，则存在声音或画面延迟，因而直接丢弃当前编码的图像数据，也即不将未同步的图像数据编进视频文件中。

另外，本领域技术人员能够理解的是，视频录制是以数据流的形式进行的，本实施例中所述的图像采集阶段、图像编码阶段仅仅只是相对于一帧图像数据而言的。

本实施例中，在图像采集阶段，依次将采集的一帧图像数据与播放的一帧音频数据的显示时间戳进行绑定，然后在图像编码阶段，判断当前一帧图像数据实际编码的显示时间戳是否与绑定的一帧音频数据的显示时间戳相同；若相同，则当前一帧图像数据符合同步要求，并继续编码下一帧图像数据，否则当前一帧图像数据不符合同步要求，进而丢弃当前编码的图像数据。本发明的优化方式实现了视频录制过程中的声音与画面同步，进而提升了用户观看视频的使用体验。

进一步可选的，在本发明声画同步优化方法一实施例中，在播放的音频数据之前，声画同步优化方法还包括：

从服务端下载录制视频所采用的音频数据及其对应文字内容，并在播放音频数据时，显示文字内容。

上述实施例中所播放的音频数据既可以是由用户自己提供，也可以是从外界下载到声画同步优化装置。

本实施例中，为保证音频数据对于小视频的娱乐效果，同时，也避免选材的繁琐处理，因此，声画同步优化装置直接从服务端下载录制视频所采用的音频数据及其对应文字内容，并在播放音频数据时，显示文字内容，以供用户在录制图像时能够与音频内容结合。

可选的，在完成了图像数据的采集与编码后，进一步将已编码的图像数据及下载的音频数据进行音视频编码，得到录制的视频文件并保存。

本可选实施例对于音视频编码方式不限，具体根据实际情况进行设置。本可选实施例中的视频文件即为最终的小视频，由于在图像编码阶段进行了声画同步的优化处理，因而在播放该视频文件时，可保证视频图像内容与声音内容同步一致，从而提升小视频的观赏质量。

进一步可选的，在本发明声画同步优化方法另一实施例中，声画同步优化方法还包括：

在进入视频文件编辑模式时，基于用户操作，依序预览显示视频文件的各帧图像数据；

对预览显示的图像数据进行编辑处理，以供在视频文件中新增或删除图像数据。

本实施例中，为进一步保证录制的小视频的观赏质量，因此，声画同步优化装置还进一步提供了视频文件编辑模式，用户可以通过相应的操作而进入该编辑模式，以供对视频文件进行编辑。

本实施中，在进入视频文件编辑模式后，用户可以在声画同步优化装置的触摸屏上进行触控操作，比如滑动操作，从而在触摸屏上依序预览显示视频文件的各帧图像数据。

如果用户在预览过程中发现存在声画不同步的情况的，可以对预览显示的图像数据进行编辑处理，比如在某两帧之间插入一个新的图片帧，该新的图片帧可以是从原有图片帧中复制进去的，也可以是插入的其他内容的图像帧，比如透明图像帧。或者还可以删除预览的某一或多帧图像，保证编辑处理后的图像数据与音频数据完全同步或者在可接受的异步差异内。

进一步可选的，在本发明声画同步优化方法另一实施例中，为避免声画同步优化装置性能不高以及摄像头采集帧率不恒定所导致的声画不同步，同时也为进一步提升本发明声画同步优化处理的准确率与优化效果，因此，本实施例中，在图像采集阶段还包括以下处理步骤：

步骤S1、获取当前播放的音频数据的采样频率；

步骤S2、基于该音频数据的采样频率，调整当前图像数据的采集帧率。

本实施例中，声画同步优化装置具体通过摄像头采集图像数据。当声画同步优化装置处于图像采集阶段时，获取当前播放的音频数据的采样频率，进而基于该音频数据的采样频率，调整摄像头的图像采集帧率。

本实施例对于调整图像数据的采集帧率的方式不限，例如，可以预想设置音频数据的采样频率与摄像头的图像采集帧率之间的匹配映射表，并基于该映射表的对应关系进行摄像头图像采集帧率的调整。

本发明还提供一种用于视频录制的计算机可读存储介质。

本发明的计算机可读存储介质上存储有声画同步优化程序，该声画同步优化程序被处理器执行时实现上述声画同步优化方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。

Claims

1.一种声画同步优化方法，应用于视频录制，其特征在于，所述声画同步优化方法包括以下步骤：

若相同，则继续编码下一帧图像数据，否则丢弃当前编码的图像数据；

其中，所述将当前采集的一帧图像数据与当前播放的一帧音频数据的显示时间戳绑定之前，所述声画同步优化方法还包括：

获取当前播放的音频数据的采样频率；

2.如权利要求1所述的声画同步优化方法，其特征在于，所述播放音频数据之前，所述声画同步优化方法还包括：

3.如权利要求2所述的声画同步优化方法，其特征在于，所述声画同步优化方法还包括：

4.如权利要求3所述的声画同步优化方法，其特征在于，所述声画同步优化方法还包括：

5.一种声画同步优化装置，应用于视频录制，其特征在于，所述声画同步优化装置包括：

存储有声画同步优化程序的存储器；

若相同，则继续编码下一帧图像数据，否则丢弃当前编码的图像数据;

获取当前播放的音频数据的采样频率；

6.如权利要求5所述的声画同步优化装置，其特征在于，所述播放音频数据之前，所述处理器还执行所述声画同步优化程序以执行下述操作：

7.如权利要求6所述的声画同步优化装置，其特征在于，所述处理器还执行所述声画同步优化程序以执行下述操作：

8.如权利要求7所述的声画同步优化装置，其特征在于，所述处理器还执行所述声画同步优化程序以执行下述操作：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有声画同步优化程序，所述声画同步优化程序被处理器执行时实现如权利要求1-4中任一项所述的声画同步优化方法的步骤。