CN116033096A - 一种画面内容配音方法、装置及终端设备 - Google Patents

Abstract

本申请实施例公开了一种画面内容配音方法、装置及终端设备，适用于视频处理技术领域，该方法包括：终端设备对其显示的画面内容进行视频流录制，并录制用户音频；在录制画面内容的过程中，获取已录制的用户音频的数据量，并根据数据量，将对画面内容的录制画质调整为目标画质；其中，目标画质与数据量的大小呈负相关；当检测到合成指令时，获取已录制的视频流和已录制的用户音频，并对获取到的视频流和用户音频进行视频合成，得到配音视频。本申请实施例可以降低画面配音过程对终端设备的性能影响。

Description

一种画面内容配音方法、装置及终端设备

技术领域

本申请涉及视频处理领域，尤其涉及一种画面内容配音方法、装置及终端设备。

背景技术

对画面内容进行配音(以下简称画面配音)，是指对动态或静态的画面内容添加外部音频并进行视频合成，得到最终的配音视频。画面配音是一种较为常见的生活场景，例如进行影视作品配音、游戏解说以及软件功能操作讲解等。

由于画面配音过程中需要进行音视频的录制与合成，这些操作均需要消耗终端设备较多的内存资源，可能会对终端设备的性能造成较大影响。甚至可能会影响用户对终端设备的正常使用。如导致终端设备的其他功能出现卡顿、无法运行甚至强退的情况。

发明内容

有鉴于此，本申请实施例提供了画面内容配音方法、装置及终端设备，可以解决画面配音对终端设备的性能影响较大的问题。

本申请实施例的第一方面提供了一种画面内容配音方法，包括：

终端设备对其显示的画面内容进行视频流录制，并同步录制用户音频。

终端设备在录制画面内容的过程中，获取已录制的用户音频的数据量，并根据数据量，将对画面内容的录制画质调整为目标画质。其中，目标画质与数据量的大小呈负相关。

当检测到合成指令时，终端设备获取已录制的视频流和已录制的用户音频，并对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频。

本申请实施例的终端设备在画面配音过程中，会根据录制用户音频所需的工作量来动态调整对画面内容录制的画质。即当预估出录制用户音频所需工作量较大时，动态降低对画面内容录制的画质。而当预估出录制用户音频所需工作量较小时，动态提高对画面内容录制的画质。从而使得画面配音过程中，对终端设备的性能消耗影响得以降低且可控。减少对终端设备中其他执行中的功能的影响。实现了在减小对终端设备性能影响的同时，提高最终配音视频的画质，以实现画面配音过程对终端设备性能影响和最终配音视频显示效果的平衡。让用户可以获得尽可能高的画质输出的同时，减少对用户正常使用终端设备的影响。

在第一方面的第一种可能的实现方式中，终端设备对其显示的画面内容进行视频流录制，包括：

终端设备获取上限画质。

终端设备对其显示的画面内容进行初始画质的视频流录制。其中，初始画质与目标画质相同或不同，且初始画质和目标画质，均低于或等于上限画质。

本申请实施例终端设备在录制画面内容之前，可以先获取播放设备适宜的画质级别。在录制画面内容之前，将播放设备适宜播放的画质级别作为录制的上限画质设置，再开始最高画质不超过上限画质的画面内容录制。从而使得最终由视频流合成的配音视频的画质不会超过播放设备适宜播放的画质级别，使得播放设备可以正常播放配音视频。

作为本申请的一个实施例，获取上限画质包括：获取播放设备的设备信息，并根据设备信息确定播放设备对应的上限画质。

通过播放设备的设备信息确定对应的上限画质，可以实现对上限画质准确快速的确认。

在第一方面的第二种可能的实现方式中，上限画质为播放设备自带的视频播放器所支持的最高播放画质，播放设备用于播放配音视频。

考虑到实际应用中许多播放设备实际适宜的画质级别会受到其自带视频播放器的限制。通过将自带视频播放器支持的最高播放画质设为对应的上限画质。可以使得播放设备即使不安装第三方播放器应用，或者进行硬件升级等，亦可以正常播放配音视频。

在第一方面的第三种可能的实现方式中，视频流采用H.264方式编码，上限画质和初始画质均为主流画质。

考虑到Windows系统的电脑自带的视频播放器Windows Media Player不支持对高级画质的视频播放。因此在本申请实施例中，为了配音视频能适应Windows系统的电脑播放，可以将上限画质设置为主流画质(mian profile)。

在第一方面的第四种可能的实现方式中，对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频，包括：

设置合成工具的画质相关参数为上限画质对应的参数。

利用合成工具对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频。

作为本申请的一个可选实施例，对于没有上限画质的情况，终端设备获取缓存的所述视频流之后，筛选出实际视频流录制过程中采用过的最高录制画质。并设置合成工具的画质相关参数为该使用过的最高录制画质对应的参数。

考虑到实际应用中播放设备在播放视频时，可能会先读取待播放视频的画质信息。当画质信息内标记的画质级别高于播放设备所支持的最高画质级别时，无论待播放视频实际画质如何，播放设备都可能会显示无法播放视频。为了防止这一情况发生，本申请实施例在进行视频合成时，可以根据视频流的实际画质，设置合成工具的画质相关参数，以对配音视频添加相匹配的画质信息。

在第一方面的第五种可能的实现方式中，获取已录制的用户音频的数据量，包括：

获取在当前时间之前分析时长内录制的用户音频的数据量。

实际应用中发现，当用户音频分析范围越小，说明对用户音频数据量分析越为细致。此时用户音频的数据量的波动性相对较大，会使得对应的录制画质更新概率会相对较高。使得对画面配音的视频流画质和对终端设备性能影响的平衡效果越好。因此本申请实施例仅对当前时间之前分析时长内(即最近的分析时长内)的用户音频进行数据量分析。以提升对画面配音的视频流画质和对终端设备性能影响的平衡效果。

在第一方面的第六种可能的实现方式中，终端设备获取已录制的视频流和已录制的用户音频，包括：

终端设备获取在当前时间之前目标时长内录制的视频流和录制的用户音频。

在本申请实施例中，终端设备可以选择性的仅获取已录制的部分视频流和用户音频进行合成，从而使得最终合成的配音视频内容更具针对性，以满足用户的配音需求。

在第一方面的第七种可能的实现方式中，对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频，包括：

对获取到的视频流进行内容识别，并根据内容识别结果从获取到的视频流中筛选出若干条视频片段。

从获取到的用户音频中，筛选出与若干条视频片段一一对应的若干条音频片段。

对筛选出的若干条视频片段和若干条音频片段进行视频合成，得到合成后的配音视频。

在本申请实施例中，通过对读取的视频流进行二次筛选，可以提取出读取的视频流中较为精彩的部分内容。从而使得最终的配音视频内容更加精炼，可以节省用户二次剪辑配音视频的工作量，提示画面配音效率。

本申请实施例的第二方面提供了一种画面内容配音装置，包括：

录制模块，用于对终端设备显示的画面内容进行视频流录制，并录制用户音频。

画质调整模块，用于在录制画面内容的过程中，获取已录制的用户音频的数据量，并根据数据量，将对画面内容的录制画质调整为目标画质。其中，目标画质与数据量的大小呈负相关。

视频合成模块，用于在检测到合成指令时，获取已录制的视频流和已录制的用户音频，并对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频。

第三方面，本申请实施例提供一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面任一项的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述第一方面任一项的方法。

第五方面，本申请实施例提供一种芯片系统，该芯片系统包括处理器，处理器与存储器耦合，处理器执行存储器中存储的计算机程序，以实现如上述第一方面任一项所述的方法。该芯片系统可以为单个芯片，或者多个芯片组成的芯片模组。

第六方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面任一项所述的方法。

可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

图1A为本申请实施例提供的画面内容配音的一种场景示意图；

图1B为本申请实施例提供的画面内容配音的另一种场景示意图；

图2为本申请实施例提供的画面内容配音方法的流程示意图；

图3为本申请实施例提供的视频流录制和用户音频录制的流程示意图；

图4为本申请实施例提供的画面内容配音方法的流程示意图；

图5为本申请实施例提供的画面内容配音方法的流程示意图；

图6A为本申请实施例提供的视频合成的流程示意图；

图6B为本申请实施例提供的画面内容配音方法的流程示意图；

图7为本申请实施例提供的画面内容配音的一种场景示意图；

图8为本申请实施例提供的画面内容配音装置的结构示意图；

图9为本申请实施例提供的智慧屏设备的硬件结构示意图；

图10为本申请实施例提供的智慧屏设备的软件架构示意图；

图11为本申请实施例提供的终端设备硬件结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请实施例提供的画面内容配音方法可以应用于手机、平板电脑、笔记本电脑、电视机、智慧屏设备和可穿戴设备等终端设备上，此时终端设备即为本申请实施例提供的画面内容配音方法的执行主体，本申请实施例对终端设备的具体类型不作任何限制。

实际应用中，用户若想对画面内容进行配音，一般需要先收集画面内容对应的视频资源。再利用录音设备针对视频资源录制音频。例如当画面内容是影视等视频内容时，用户需要下载对应的视频资源。而当画面内容是游戏界面、软件操作界面等非视频内容时，则用户需要录制这些画面内容，得到对应的录制视频。在获取到视频资源后，针对影视作品等视频内容，用户可以进行视频台词配音录制，针对游戏可以录制游戏解说音频，针对软件功能则可以录制功能讲解音频等。

在收集到视频资源及录制的音频之后，用户还需要使用专用的视频合成软件来对视频资源和录制的音频进行视频合成。这期间可能会涉及到许多专业技能要求，如对视频合成软件的使用，对视频和音频裁剪以及音视频轨道的对齐等等，最终才能生成一个配音视频。由此可见，整个画面配音的过程操作繁琐，且对用户的技术门槛要求较高，对用户操作难度较大。

为了简化画面配音操作，降低画面配音的操作难度。在本申请实施例中，终端设备在使用过程中，一方面会对屏幕显示的画面内容进行录制并缓存，得到缓存的视频流，另一方面还会同步录制用户的音频并进行用户音频缓存。用户可以在正常使用终端设备的过程中，可以随时说话配音。在需要进行配音视频合成时，用户可以进行操作对应的合成功能。终端设备在检测到合成功能被触发时，会获取录制的视频流以及录制的用户音频。并会对视频流和用户音频进行视频合成，生成最终的配音视频。

相对先获取视频资源，再录制配音，最后使用视频合成软件合成配音视频而言。在本申请实施例中，用户可以在正常使用终端设备观看屏幕画面内容的同时，通过操作合成功能随时随地的进行配音，并合成对应的配音视频。因此使得用户的画面配音操作非常简单便捷。同时在本申请实施例中，用户无需学习音视频相关的剪辑知识，亦无需学习如何使用视频合成软件等。因此对用户技术门槛要求极低，用户进行画面配音的操作难度极低。

在解决了上述画面配音操作问题的基础上，针对画面配音导致对终端设备的性能影响较大的问题。本申请实施例从视频流录制画质以及录制的时间方向两个方面，分别进行了方案调整。

其中，对视频流录制画质方面简要说明如下：

为了获得比较好的配音视频显示效果，以提升用户观看时的体验。实际应用中，画面配音往往会选择收集画质较高的视频资源。例如下载高画质视频或者录制高画质的视频。结合本申请实施例的技术方案：同时录制画面内容和用户音频，并合成录制的视频流和用户音频得到配音视频应用时，这样可能会带来以下问题：

对画质较高的视频资源在进行视频合成的时候，对终端设备的内存资源消耗较大，因此会对终端设备的性能造成一定影响。同时，对画面内容进行高画质的视频录制，以及录制用户音频的过程，如用户音频的编码缓存，也需要占用终端设备较多的内存资源，可能对终端设备的性能造成影响。因此高画质的视频录制和合成，以及用户音频的录制，均会导致对终端设备性能影响较大。

针对上述问题，本申请实施例的终端设备在画面配音过程中，会根据预估录制用户音频所需的工作量来动态调整对画面内容录制的画质。即当预估出录制用户音频所需工作量较大时，动态降低对画面内容录制的画质。而当预估出录制用户音频所需工作量较小时，动态提高对画面内容录制的画质。从而使得画面配音过程中，对终端设备的性能消耗影响得以降低且可控。减少对终端设备中其他执行中的功能的影响。实现了在减小对终端设备性能影响的同时，提高最终配音视频的画质，以实现画面配音过程对终端设备性能影响和最终配音视频显示效果的平衡。让用户可以获得尽可能高的画质输出的同时，减少对用户正常使用终端设备的影响。

对录制的时间方向简要说明如下：

在本申请实施例中，终端设备在检测到合成功能被触发时，会获取在当前时间之前的一段时间内，录制缓存的画面内容的视频流，以及录制缓存的用户音频。即录制的均是已发生的内容，实现的是对已发生内容的配音视频合成。

由于配音与显示的画面内容是实时对应的，因此在配音的过程中用户可以直观感受到配音效果。同时结合向前查找音视频缓存并合成，使得本申请实施例可以在配音效果满足用户需求的情况下再合成配音视频。较于在开始画面配音后，录制在后显示的画面内容和用户语音，再合成配音视频，用户才能看到最终的配音效果。本申请实施例可以减少一些不满足用户需求的配音视频的合成次数，同时也可以减少用户对这些不满足需求的配音视频的筛选操作。因此一方面可以减少配音视频合成对终端设备的内存资源和存储资源的消耗，降低对终端设备性能的影响。另一方面也可以减少对配音视频的挑选操作，简化对画面配音的操作。

此处对本申请实施例中可能涉及到的一些概念进行说明：

精彩时刻功能：在本申请实施例中，将配音视频的合成触发功能，称为合成功能或者精彩时刻功能。在需要进行配音视频合成时，用户可以进行开启对应的精彩时刻功能。终端设备在检测到精彩时刻功能被触发时，开始对获取录制的视频流和用户音频，并进行配音视频合成。

同时，对本申请实施例可能的应用场景进行示例说明：

本申请实施例可以适用于任何需要进行画面配音的应用场景。包括但不限于如，用户在看电视的过程中进行电视画面配音、在使用手机或平板电脑等移动设备的过程中进行移动设备画面配音，以及在使用电脑的过程中进行电脑画面配音等等。其中，对用户音频录制的设备，可以是终端设备自身，也可以是可与终端设备进行数据传输的其他拾音设备。

以一些实例来进行应用场景的举例说明。参考图1A，在本申请实施例的应用场景中，终端设备为电视机。其中，图1A的(a)是电视遥控器的示意图，图1A的(b)是用户进行画面配音过程的场景示意图。在本申请实施例中，由电视遥控器负责拾取用户音频并发送给电视机。电视机负责对其自身显示的画面内容进行视频流缓存，同时对电视遥控器发送的用户音频进行编码缓存。实际应用时，用户可以在观看电视的同时，对着电视遥控器说话，以实现对电视机显示画面内容的实时配音。在需要合成配音视频的时候，用户可以按下电视遥控器上的精彩时刻按键。电视遥控器在精彩时刻按键被按下时，向电视机发送对应的合成指令。电视机在接收到合成指令时，读取缓存的视频流和用户音频，再合成最终的配音视频。得到的配音视频，可以存储在电视机本地，也可以由电视机发送至其他播放设备。例如可以将电视机与电脑建立无线网络连接，此时电视机可以在得到配音视频后，将配音视频通过无线网络发送至电脑端进行播放。

参考图1B，是另一种应用场景的示意图。在本申请实施例的应用场景中，终端设备为手机。其中，手机负责利用自带的拾音器拾取用户音频并进行编码缓存，同时还负责其自身显示的画面内容进行视频流缓存。手机内置精彩时刻功能。实际应用时，用户可以在使用手机的同时，对着手机说话，以实现对手机显示画面内容的实时配音。如用户在用手机看视频、玩游戏、阅读电子书以及操作手机应用程序等过程中，进行实时配音。在需要合成配音视频时，用户可以触发精彩时刻功能。手机在检测到精彩时刻功能触发时，读取缓存的视频流和用户音频，再合成最终的配音视频。同理，得到的配音视频，可以存储在手机本地，也可以由手机发送至其他播放设备。

上述图1A和图1B对应的是两者较为常见的应用场景，在实际应用中可以有更多其他类似或不同的场景。例如用户可以选择采用电视机自带的拾音器来录制用户音频，亦可以配置外接麦克风等拾音设备来录制用户音频。同理，手机、平板电脑、笔记本电脑和台式电脑等设备，亦可以采用自带拾音器或者外接拾音设备来鲁直用户音频。此处不做过多限定。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

图2示出了本申请实施例一提供的画面内容配音方法的实现流程图，详述如下：

S201，终端设备获取播放设备的设备信息，并根据设备信息确定播放设备对应的上限画质。

考虑到实际应用中，不同设备的视频播放能力可能会存在差异。对于一些视频播放能力有限的设备而言，可能会无法播放高画质的配音视频。例如对于Windows系统的电脑自带的视频播放器Windows Media Player而言，其不支持对高级画质(hight profile)的视频播放。因此当最终的配音视频画质达到高级画质时，会导致其无法在电脑端的视频播放器Windows Media Player中播放。

针对上述问题，本申请实施例终端设备在录制画面内容之前，可以先获取播放设备的设备信息，并根据设备信息确定播放设备适宜的画质级别。在录制画面内容之前，将播放设备适宜播放的画质级别作为录制的上限画质设置，再开始最高画质不超过上限画质的画面内容录制。从而使得最终由视频流合成的配音视频的画质不会超过播放设备适宜播放的画质级别，使得播放设备可以正常播放配音视频。

其中，播放设备是指可能会播放配音视频的电子设备，具体可由技术人员根据实际情况设定。或者在一些多设备互联的场景中，终端设备亦可以结合实际场景来选择播放设备。例如终端设备从与自身连接的其他设备中，选择部分或全部设备作为播放设备处理。其中，任意可关联播放设备视频播放能力的信息，均可作为本申请实施例中的设备信息。例如可以是播放设备的设备名称、设备编号(如设备ID等)、设备型号、设备类型以及设备硬件配置数据中的任意一种或多种信息。本申请实施例不对获取设备信息的方式做限定。可以是接收播放设备发送的设备信息，亦可以是读取本地存储的播放设备的设备信息。

作为本申请的一个可选实施例。考虑到实际应用中许多播放设备实际适宜的画质级别会受到其自带视频播放器的限制。例如，对于一些播放设备不支持用户自行安装第三方播放器应用。以及一些播放设备虽然支持用户自行安装第三方播放器应用，但由于用户使用环境限制或用户技术能力的限制等因素限制，仍会导致播放设备难以使用第三方播放器应用。因此在本申请实施例中，可以将播放设备的自带视频播放器信息作为播放设备的设备信息。由此可以提高播放设备可正常播放配音视频的概率。例如针对Windows系统的电脑而言，可以将其自带视频播放器Windows Media Player的相关信息作为设备信息。

在本申请实施例中，可将设备信息分为两种：包含播放设备适宜播放的画质级别数据，以及不包含播放设备适宜播放的画质级别数据。同时本申请实施例会针对不同的设备信息设置对应的画质级别映射关系。对于包含播放设备适宜播放的画质级别数据的设备信息，终端设备在S201中可以读取设备信息中的该画质级别。对于不包含播放设备适宜播放的画质级别数据的设备信息，则可以通过映射关系来确定对应的画质级别。

在确定出播放设备适宜播放的画质级别之后，当播放设备仅有一台时，可以将该画质级别作为播放设备对应的上限画质。而当播放设备有两台或以上时，则可以从这些播放设备对应的画质级别中，筛选出最低的画质级别作为上限画质。以使得这些播放设备均可以正常播放最终的配音视频。

作为本申请的另一个可选实施例，设备信息亦可以是播放设备适宜播放的画质级别。此时可以节省通过映射关系查找画质级别的过程，提高S201的效率。

作为本申请中实现上限画质确定的另一个可选实施例，S201亦可以被替换为：终端设备获取上限画质。此时可包含至少两种具体可实现方案：1、如上述对S201的说明，通过获取设备信息的方式确定上限画质。2、由技术人员根据播放设备的情况，预先将播放设备适宜的上限画质设置在终端设备本地。此时终端设备可以通过在本地读取默认的上限画质。

作为本申请的一个可选实施例，考虑到Windows系统的电脑自带的视频播放器Windows Media Player不支持对高级画质的视频播放。因此在本申请实施例中，为了配音视频能适应Windows系统的电脑播放，可以将上限画质设置为主流画质(mian profile)。

S202，终端设备设置对画面内容的视频流录制画质为初始画质。其中初始画质低于或等于上限画质。

在确定出上限画质后，终端设备设置对画面内容进行视频流的录制画质。其中为了使得播放设备可以正常播放最终的配音视频，此时会设置初始画质不高于上限画质。作为一个可选实施例，可以设置此时的初始画质为上限画质。其中，对视频流录制画质的具体设置操作，此处不做限定。具体可根据实际使用的录屏工具确定。

作为本申请的另一些可选实施例。实际应用中，当不考虑播放设备对视频画质的支持情况时，也可以没有S201上限画质的确定步骤。此时S202中可以不对初始画质进行上限画质的限制。例如终端设备可以使用录制工具默认设置的画质作为初始画质。

S203，在满足预设的录制条件时，终端设备开始对其显示的画面内容进行初始画质的视频流录制，并录制用户音频。

在本申请实施例中，用户音频统指拾取到的用户的音频数据。一般包含用户语音，同时也可以包含用户所处环境中的其他声音。例如用户可以使用乐器或者其他音频播放器，来制造配音等所需的声音，此时也可被采集至用户音频之中。

在本申请实施例中，由技术人员预先设置一个或多个录制条件。当录制条件被触发时，终端设备开始对画面内容的录制，并对录制得到的视频流进行实时缓存。同时开始对用户音频的录制，以及对录制的用户音频实时缓存。其中，具体的录制条件此处不做过多限定。

作为本申请的一个实施例，录制条件可以包含：终端设备开机(即开机默认开启录制)、终端设备播放视频，以及到达预先设定的时间点中的任意一个或多个条件。

作为本申请的另一个可选实施例，还可以在终端设备内设置一个开始录制的功能。当用户需要开始录制时，可以开启该功能。终端设备在检测到该功能对应的开始录制指令时，判定为满足录制条件，并开始进行画面内容和用户音频的录制。

作为本申请的一个可选实施例，考虑到缓存的视频流和用户音频会占用终端设备较多的存储空间。为了节省存储空间，可以设置一个循环录制时长。终端设备在录制视频流和用户音频时，会以缓存循环覆盖的方式，仅保留最近循环录制时长内的视频流缓存和用户音频缓存。例如假设设置循环录制时长为30分钟，终端设备在录制视频流和用户音频时，仅会保留最近30分钟内的视频流缓存和用户音频缓存。

作为本申请的另一个可选实施例，初始画质的设置也可以是在满足录制条件时触发。此时S202和S203可以合并为：

在满足预设的录制条件时，终端设备设置对画面内容的视频流录制画质为初始画质，开始对其显示的画面内容进行初始画质的视频流录制，并录制用户音频。其中初始画质低于或等于上限画质。

例如当录制条件包含终端设备开机时，终端设备在开机后获取上限画质，并基于上限画质设置初始画质。再基于初始画质开始视频流录制和用户音频录制。此时S201至S203实质都是在录制条件被触发之后执行的。

本申请实施例中不对画面内容录制时的视频编码方式，以及用户音频的编码方式做过多限定。作为本申请的一个可选实施例，可以采用H.264方式进行视频编码，以降低编码复杂度，提高编码效率，降低对终端设备性能的消耗。同时可以采用脉冲编码调制(PulseCode Modulation，PCM)方式进行用户音频编码。

H.264方式编码视频的序列参数集(Sequence Paramater Set，SPS)中，保存了一组编码视频序列(Coded video sequence)的全局参数。其中部分语法元素含义说明如下：

profile_idc：用于标识当前码流的画质(profile)级别。其中，H.264方式编码视频画质级别包括至少如下3种：

最低画质(Baseline profile)，支持I/P帧，只支持无交错(Progressive)和CAVLC，一般用于低阶或需要额外容错的应用，比如视频通话、手机视频等。

主流画质(mian profile)支持I/P/B帧，支持无交错(Progressive)和交错(Interlaced)，同样提供对于CAVLC和CABAC的支持，用于主流消费类电子产品规格如低解码(相对而言)的视频播放器、便携的视频播放器以及电脑等；

高级画质(hight profile)，也可称为FRExt。在主流画质的基础上增加了8x8内部预测、自定义量化、无损视频编码和更多的YUV格式(如4：4：4)，可用于广播及视频碟片存储(蓝光影片)，高清电视的应用。

level_idc：标识当前码流的level。编码的Level定义了某种条件下的最大视频分辨率、最大视频帧率等参数，码流所遵从的level由level_idc指定。

seq_parameter_set_id：表示当前的序列参数集的id。通过该id值，图像参数集pps可以引用其代表的sps中的参数。

作为实现视频流录制和用户音频录制的一种具体实现方式。参考图3是本申请实施例，实现视频流录制和用户音频录制的流程示意图。在本申请实施例中，终端设备为智慧屏设备，智慧屏设备内置一个录屏应用程序。在开始录制的时候，由该录屏应用程序负责拉起录屏服务ScreenRecordService，调用TvCastService接口(封装jni接口)初始化底层录制音频和视频服务。同时使用音频接口获取用户音频数据，并放入音频对象数组，实现用户音频的缓存。使用ScreenRecord接口获取画面内容的视频数据，并放入视频对象数组，实现视频流的缓存。

S204，终端设备在录制视频流的过程中，分析已录制的用户音频的数据量，并根据数据量更新对画面内容的录制画质为目标画质。其中目标画质低于或等于上限画质，且目标画质与初始画质可以相同或不同。目标画质与数据量大小呈负相关。

由于对用户音频的录制过程中，用户音频编码等处理需要占用终端设备较多的内存资源。例如采用PCM方式进行用户音频编码时，编码工作量较大，需要使用较多内存资源。同时加上对画面内容的视频流录制工作量，使得整个画面配音的录制过程会占用终端设备较多的内存资源。此时对于用户使用的其他功能而言，可使用的内存资源减少。因此可能会导致用户在使用终端设备的进行画面配音的时，终端设备的其他功能无法正常使用。例如用户在观看视频过程中，终端设备开始录制视频和用户音频，可能会导致用户观看的视频出现卡顿情况。又例如用户在使用终端设备玩游戏的过程中，对游戏画面进行画面配音，此时可能会导致视频卡顿甚至强退。

为了降低画面配音过程对终端设备内存资源的消耗，以降低对终端设备性能的影响。终端设备在录制视频流的过程中，会分析已录制的用户音频的数据量。当用户音频数据量较大时，说明此时用户配音的内容较为丰富，终端设备对用户音频的处理工作量较大。此时本申请实施例会动态调低对画面内容的录制画质。即将录制画质设置为较低的画质级别。而当用户音频数据量较小时，说明用户配音的内容较少，终端设备对用户音频的处理工作量较小。此时会动态调高对画面内容的录制画质。即将录制画质设置为较高的画质级别。

在本申请实施例中，考虑到画面配音场景中用户配音的重要性。为了保留用户配音的质量、降低画面配音对终端设备的性能影响，同时可能地提高配音视频的画质。本申请实施例在正常录制用户音频的基础上，根据用户音频处理的工作量，动态调整对画面内容的录制画质。因此可以在用户音频处理工作量较大时，有效地降低视频流录制造成的性能消耗。而在用户音频处理工作量较小时，有效地提升视频流录制画质，提升配音视频画质。因此可以极为有效的实现性能与画质的平衡效果。

本申请实施例不对用户音频数据量分析的时机，以及分析过程中，对用户音频的分析范围和数据量大小的判断方式等做过多限定。

作为本申请的一个可选实施例，用户音频数据量分析的时机可以包括至少以下3种：

1、由技术人员设定对用户音频的分析周期，并以该分析周期定期对用户音频的数据量进行分析，以及录制画质的更新。其中，分析周期的具体值此处不做限定。例如，假设将分析周期设置为2秒/次。此时终端设备在画面配音的过程中，会每隔2秒执行一次S204的用户音频数据量分析及录制画质更新的操作。

相应的，此时S204可以被替换为：终端设备在录制视频流的过程中，以预设的分析周期，周期性分析已录制的用户音频的数据量，并根据数据量更新对画面内容的录制画质为目标画质。

2、针对终端设备可能显示的不同画面内容情况，设置不同的分析周期。在录制过程中，识别实时画面内容类型对应的分析周期，并以该分析周期来定期对用户音频的数据量进行分析，以及录制画质的更新。例如，可以根据视频、音乐、游戏、电子书以及系统功能等画面内容各自的特点，设置适宜的分析周期。在录制时，识别实时画面内容具体属于视频画面、音乐画面、游戏画面、电子书画面，还是系统功能画面等，再根据实际的情况选取对应的分析周期。此时可以适应不同画面内容的情况，实现较佳的分析周期选取。

相应的，此时S204可以被替换为：终端设备在录制视频流的过程中，识别当前画面内容类型，并根据识别出的类型确定对应的分析周期。基于该分析周期，周期性分析已录制的用户音频的数据量，并根据数据量更新对画面内容的录制画质为目标画质。

3、由技术人员设置与用户音频数据量相关的分析触发条件。终端设备在录制用户音频的过程中，监测是否满足分析触发条件。若满足分析触发条件，则执行S204的用户音频数据量分析及录制画质更新的操作。其中，具体使用的分析触发条件，此处不做限定。例如在一些实施例中，可以设置为当累计录制到的用户音频的总数据量达到上限阈值时，执行S204操作。

相应的，此时S204可以被替换为：终端设备在录制视频流的过程中，当满足分析触发条件时，分析已录制的用户音频的数据量，并根据数据量更新对画面内容的录制画质为目标画质。

作为本申请的一个可选实施例，用户音频的分析范围包括至少以下2种：

1、对所有已录制的用户音频进行数据量分析。

由于是对所有已录制的用户音频进行数据量分析，因此此时的分析范围是最大的，分析结果可以较好的反映出本次画面配音过程中，用户音频整体的处理工作量。

2、对当前时间之前分析时长内的用户音频进行数据量分析。其中，分析时长的长度此处不做限定。例如，考虑到人类说话时语速情况，可以将目标时间段的长度设定为3秒至5秒中的任一值，如3秒。此时，终端设备每次会对当前时间之前3秒内的用户音频数据量进行分析。

参考图4，此时S204可以被替换为：S2041，终端设备在录制视频流的过程中，分析当前时间之前分析时长内录制的用户音频的数据量，并根据数据量更新对画面内容的录制画质为目标画质。

实际应用中发现用户音频分析范围越大，得到的结果中，用户音频的数据量稳定性相对越强。此时对应的录制画质更新频率会相对较低，因此整个画面配音的过程，视频流的画质稳定性更好。反之，当用户音频分析范围越小，说明对用户音频数据量分析越为细致。此时用户音频的数据量的波动性相对较大，会使得对应的录制画质更新概率会相对较高。使得对画面配音的视频流画质和对终端设备性能影响的平衡效果越好。基于此，实际应用中，技术人员可以根据实际需求来设定对应的分析范围。例如，当需要降低录制画质更新频率时，可以采用分析范围1：对所有已录制的用户音频进行数据量分析。亦可以采用分析范围2：对当前时间之前分析时长内的用户音频进行数据量分析，并将分析时长设定的较长。例如可以将分析时长设定为10分钟。反正当需要提高对画面配音的视频流画质和对终端设备性能影响的平衡效果时，则可以选取分析范围2，并将分析时长设定较短。例如可以设定为2秒等。

作为本申请的一个可选实施例，对数据量大小的判断方式，以及对应的录制画质选取方式可以包括：

先根据对画面内容的视频编码方式，确定可选取的视频流录制画质。其中当存在上限画质时，可以剔除高于上限画质的录制画质。再针对可选取的录制画质，将数据量进行级别划分，并将划分出的数据量的级别与录制画质一一对应。S204在确定目标画质时，可以根据分析得到的数据量所属的级别，匹配对应的录制画质，并将该录制画质作为目标画质即可。此时，数据量较大以及数据量较小，均可以通过数据量所属级别关联体现。如可以设置为级别越高，对应的数据量越大，级别越低对应的数据量越小。

相应的，S204可以被替换为：终端设备在录制视频流的过程中，分析已录制的用户音频的数据量所属级别。根据数据量的级别确定对应的目标画质，并更新对画面内容的录制画质为目标画质。

其中，具体数据量的级别划分标准，可由技术人员根据实际需求设定。例如当用户音频分析范围较大时，得到的数据量往往也较大。此时对数据量进行级别划分时，对应的级别阈值也越大。反正当用户音频分析范围较小时，则数据量级别划分时对应的级别阈值也越小。

同样的，具体数据量的级别与录制画质的对应关系，也可由技术人员根据实际需求设定。但为了实现用户音频数据量较大时动态降低视频流画质的效果。在本申请所示实例中，数据量的级别与录制画质的对应关系，需满足录制画质与数据量大小呈负相关。即数据量越大，画质更新时的目标画质越低，数据量越小，则画质更新时的目标画质越高。

应当理解地，上述对用户音频数据量分析的时机，以及对用户音频的分析范围和数据量大小的判断方式的相关实施例，均可以相互组合从而得到新的具体实施例。这些组合得到的具体实施例，仍属于本申请的保护范围内容。例如，将用户音频的分析范围和数据量大小的判断方式的相关实施例组合，参考图5，此时可以将S204替换为：

S2042，终端设备在录制视频流的过程中，分析当前时间之前分析时长内录制的用户音频的数据量所属级别。根据数据量的级别确定对应的目标画质，并更新对画面内容的录制画质为目标画质。

S205，终端设备在检测到合成指令时，对当前时间之前目标时长内录制的视频流以及用户音频进行视频合成，得到合成后的配音视频。

在对画面内容视频流以及用户音频的录制过程中，用户可以根据需求触发精彩时刻功能，输入合成指令。此时终端设备会从缓存中读取当前时间之前目标时长的视频流和用户音频，再对读取出的视频流和用户音频进行视频合成，从而得到最终的配音视频。其中，目标时长具体值此处不做限定。例如，在一些可选实施例中，可以设定为15秒。此时，终端设备会读取当前之间之前的15秒内缓存视频流和用户音频，并进行视频合成操作。而在另一些可选实施例中，亦可以设定为1分钟等。在一些可选实施例中，可以对用户开发目标时长的设置权限，从而使得用户可以根据实际需求来进行配音时长设定。此时，目标时长可以为用户设定的时长数据。

同时，具体使用的视频合成工具，本申请实施例亦不做过多限定。可使用一些已有的合成工具，如MediaMuxer等，实现视频合成。亦可以使用技术人员自行设计的一些合成工具进行视频合成。

作为本申请的一个可选实施例，在进行视频合成时，可以选择对获取到的完整的视频流和用户音频进行视频合成。亦可以先对获取到的视频流和用户音频进行筛选，并对筛选出的视频流和用户音频进行视频合成。例如，可以对视频流的内容进行识别，并从中挑选出若干条精彩的视频片段。再从用户音频中挑选出精彩视频片段对应的音频片段。最后再对挑选出的精彩视频片段和音频片段进行拼接并视频合成。此时最终合成的配音视频的时长，可以短于设定的目标时长。例如假设目标时长为1分钟，经过挑选后的精彩视频片段总长为15秒。此时对应最终合成的配音视频可以也为15秒。其中，本申请实施例不对精彩视频片段的挑选方法做过多限定，可由技术人员设定。例如在一些可选实施例中，可以设置为：对于游戏等操作过程中会有帧率变化的画面内容，将帧率高于预设阈值的画面内容识别为精彩视频片段筛选出来。

在本申请实施例中，通过对读取的视频流进行二次筛选，可以提取出读取的视频流中较为精彩的部分内容。从而使得最终的配音视频内容更加精炼，可以节省用户二次剪辑配音视频的工作量，提示画面配音效率。

作为本申请的一个可选实施例，为了方便用户进行连续的画面配音操作。在本申请实施例中精彩时刻功能可以被连续触发。终端设备在每次精彩时刻功能被触发后，都会执行S205的缓存读取及视频合成操作，且不会停止对画面内容和用户音频的录制。在此基础上，用户可以根据需求不限次数的进行画面配音。且当用户相邻两次触发精彩时刻功能的间隔时长短于目标时长时，终端设备两次获取从缓存中获取的视频流和用户音频，可以存在部分重叠。

作为本申请的一个可选实施例，考虑到实际应用中播放设备在播放视频时，可能会先读取待播放视频的画质信息。当画质信息内标记的画质级别高于播放设备所支持的最高画质级别时，无论待播放视频实际画质如何，播放设备都可能会显示无法播放视频。因此为了防止播放设备在播放配音视频时出现问题。本申请实施例在进行视频合成时，可以根据视频流的实际画质，设置合成工具的画质相关参数，以对配音视频添加相匹配的画质信息。

其中，对于存在上限画质的场景，可以将合成工具的画质相关参数，设定为上限画质对应的参数。

而对于不存在上限画质的场景，终端设备在S203开始录制时以及S204每次更新录制画质时，均可以记录对应的初始画质和目标画质。而在S205进行视频合成时，将从缓存获取的视频流中，记录的最高画质级别筛选出来。再将合成工具的画质相关参数，设定为该最高画质级别对应的参数。例如，假设从缓存获取的视频流内，包含最低画质和主流画质两种画质级别。此时可以将主流画质对应的参数，设置为合成工具的画质相关参数。从而使得播放设备在获取到配音视频时，可以根据配音视频的画质信息，确定出播放配音视频适宜测量。

以一实例进行举例说明，假设使用的视频合成工具为MediaMuxer，从缓存中读取出的视频流中，对应的最高画质为主流画质。在图3所示实施例的基础上，参考图6A，对使用MediaMuxer视频合成的原理简要说明如下：

在用户触发精彩时刻功能后，RecordManger调用视频合成接口，新建音频和视频的媒体格式(MediaFormat)。RecordManger为MediaMuxer设置音频和视频的媒体格式参数，并添加音频轨和视频轨。读取缓存中(即从音频对象数组和视频对象数组内读取)的视频流和用户音频，并写入MediaMuxer。最终由MediaMuxer将视频流和用户音频合成为MP4格式的配音视频。

其中，视频的媒体格式参数中，包含画质相关参数。在使用MediaMuxer作为合成工具时，可以根据具体的视频流的实际画质，在媒体格式参数中的csd-0参数中添加NALU对应的起始位，以对配音视频添加相匹配的画质信息。例如在一些实施例中，对于Windows系统的电脑而言，其上限画质可以设为主流画质，当采用默认媒体格式参数设置时，MediaMuxer会按照高级画质来设置画质相关参数。由于Windows Media Player不支持高级画质的播放，因此会导致默认生成的配音视频无法在Windows Media Player中播放。此时对应的视频流实际画质最高为主流画质。此时可以将媒体格式参数中的csd-0参数中的NALU起始位设置为：00 0000 01。使得Windows系统的电脑在解析配音视频时，可以根据配音视频的画质信息确定出其画质没有超过Windows Media Player可支持的最高画质。使得WindowsMedia Player可以正常播放最终合成的配音视频。

以一实例对本申请的画面配音整体流程进行说明，在图6A所示实施例的基础上，参考图6B。在本申请实施例中，终端设备为智慧屏。设置录制条件为智慧屏播放视频，上限画质为主流画质。

当用户开始观看视频时，智慧屏检测到视频播放，满足录制条件，开始后台录制画面内容的视频流并开始录制用户音频。

在录制过程中，智慧屏根据已录制的用户音频数据量，动态调整对画面内容的录制画质。

当用户触发精彩时刻功能时，智慧屏开始从缓存中读取视频流及用户音频。同时对媒体格式参数进行设置，并进行视频合成，得到Windows Media Player可播放的配音视频。

作为本申请的一个可选实施例，在上述实施例的基础上，在画面配音的过程中还可以增加其他的视频源和音频源。例如对于视频源而言，除了终端设备原本显示的画面内容之外，还可以增加摄像头等外接视频源。例如可以参考图7，是在图1A所示场景的基础上，增加了一个摄像头，此时摄像头拍摄到的画面也会显示在终端设备的屏幕之中。因此此时录制的画面内容，可以包含拍摄画面。对于音频源而言，在录制的用户音频基础上，还可以同时录制终端设备自身实时播放的内部音频数据，如影视自带的音频数据等。通过增加不同的视频源或音频源，本申请实施例可以适用于用户更多的不同实际需求，从而提高本申请实施例的实用效果。

在本申请所示实例中，通过基于预估录制用户音频所需的工作量来动态调整对画面内容录制的画质。即当预估出录制用户音频所需工作量较大时，动态降低对画面内容录制的画质。而当预估出录制用户音频所需工作量较小时，动态提高对画面内容录制的画质。从而使得画面配音过程中，对终端设备的性能消耗影响得以降低且可控。减少对终端设备中其他执行中的功能的影响。实现了在减小对终端设备性能影响的同时，提高最终配音视频的画质，以实现画面配音过程对终端设备性能影响和最终配音视频显示效果的平衡。让用户可以获得尽可能高的画质输出的同时，减少对用户正常使用终端设备的影响。

对应于上文实施例所述的画面内容配音方法，图8示出了本申请实施例提供的画面内容配音装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图8，该画面内容配音装置包括：

录制模块81，用于对终端设备显示的画面内容进行视频流录制，并录制用户音频；

画质调整模块82，用于在录制所述画面内容的过程中，获取已录制的所述用户音频的数据量，并根据所述数据量，将对所述画面内容的录制画质调整为目标画质；其中，所述目标画质与所述数据量的大小呈负相关；

视频合成模块83，用于在检测到合成指令时，获取已录制的所述视频流和已录制的所述用户音频，并对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的配音视频。

作为本申请的一个实施例，录制模块81，包括：

画质获取模块，用于获取上限画质。

初始录制模块，用于对终端设备显示的画面内容进行初始画质的视频流录制。其中，初始画质与目标画质相同或不同，且初始画质和目标画质，均低于或等于上限画质。

作为本申请的一个实施例，获取上限画质包括：获取播放设备的设备信息，并根据设备信息确定播放设备对应的上限画质。

作为本申请的一个实施例，上限画质为播放设备自带的视频播放器所支持的最高播放画质，播放设备用于播放配音视频。

作为本申请的一个实施例，视频流采用H.264方式编码，上限画质和初始画质均为主流画质。

作为本申请的一个实施例，视频合成模块83，包括：

参数设置模块，用于设置合成工具的画质相关参数为上限画质对应的参数。

合成工具模块，用于利用合成工具对获取到的视频流和用户音频进行视频合成，得到合成后的配音视频。

作为本申请的一个实施例，画质调整模块82，包括：

获取在当前时间之前分析时长内录制的用户音频的数据量。

作为本申请的一个实施例，视频合成模块83，还包括：

获取在当前时间之前目标时长内录制的视频流和录制的用户音频。

作为本申请的一个实施例，视频合成模块83，还包括：

对获取到的视频流进行内容识别，并根据内容识别结果从获取到的视频流中筛选出若干条视频片段。

从获取到的用户音频中，筛选出与若干条视频片段一一对应的若干条音频片段。

对筛选出的若干条视频片段和若干条音频片段进行视频合成，得到合成后的配音视频。

本申请实施例提供的画面内容配音装置中各模块实现各自功能的过程，具体可参考前述图2、图4和图5所示实施例以及其他相关方法实施例的描述，此处不再赘述。

下面结合图9，以终端设备是智慧屏设备(以下简称智慧屏)为例，示例性地说明本申请实施例提供的终端设备的硬件结构。

图9示出了本申请实施例提供的智慧屏的功能框图。如图9所示，智慧屏400可以包括：处理器401、存储器402、通信接口403、音频电路404、扬声器405、麦克风406、电源装置407、显示屏408等，这些部件可通过一根或多根通信总线或信号线(图中未示出)进行通信。下面结合图9对智慧屏的各个部件进行具体的介绍。

处理器401是智慧屏的控制中心，利用各种接口和线路连接智慧屏的各个部分，通过运行或执行存储在存储器402内的应用程序，以及调用存储在存储器402内的数据，执行智慧屏的各种功能和处理数据。在一些实施例中，处理器401可包括一个或多个处理单元。

存储器402用于存储应用程序以及数据，处理器401通过运行存储在存储器402的应用程序以及数据，执行智慧屏的各种功能以及数据处理。存储器402主要包括存储程序区以及存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如视频播放功能，语音采集功能等)；存储数据区可以存储根据使用智慧屏时所创建的数据(比如视频数据以及音频数据等)。此外，存储器402可以包括高速随机存取存储器(randomaccess memory，RAM)，还可以包括非易失存储器，例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。存储器402可以存储各种操作系统。上述存储器402可以独立于处理器401，通过上述通信总线与处理器401相连接；或者，存储器402也可以和处理器401集成在一起。

智慧屏通过通信接口403与诸如手机或平板电脑等其他设备连接。示例性的，通信接口403可以为射频电路、蓝牙装置、Wi-Fi装置或者信号传输线接口，例如用于智慧屏与手机进行通信，或者智慧屏与服务器进行通信，或者智慧屏与遥控器进行通信。

音频电路404与扬声器405和麦克风406(亦可称为拾音器)连接，一方面，音频电路404可将接收到的音频数据转换后的电信号，传输到扬声器405，由扬声器405转换为声音信号输出；另一方面，麦克风406将收集的声音信号(例如用户发出的语音)转换为电信号，由音频电路404接收后转换为音频数据(或者语音数据)，再将音频数据输出，例如智慧屏将语音数据发送至智慧屏，或者智慧屏将语音数据发送至服务器等，或者将语音数据输出至存储器402以便进一步处理。

电源装置407可以向各个部件供电，比如电源装置407包括电池和电源管理芯片，电池可以通过电源管理芯片与处理器401逻辑相连，从而通过电源装置407实现管理充电、放电、以及功耗管理等功能。

显示屏408也称为显示器。显示器可以用于播放直播视频或者点播视频等。显示器包括显示面板，显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，显示器中可以设置触摸传感器，形成触摸屏，本申请实施例不作限定。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给处理器401，以确定触摸事件类型。处理器401可以通过显示器提供与触摸操作相关的视觉输出。

在一些实施例中，智慧屏400还可以包含更多的器件，例如USB接口等，本申请实施例不多赘述。可以理解，图9所示的部件并不构成对智慧屏的具体限定，智慧屏还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。

在本申请实施例中，智慧屏400具有视频播放能力、录屏能力、无线通信能力，以及将录制的视频片段传输给其他电子设备的能力。

以上实施例中的方法均可以在具有图9所示硬件结构的智慧屏中实现。基于图9所示部件，运行有操作系统。例如，iOS操作系统，Android开源操作系统，Windows操作系统等。在该操作系统上可以安装运行应用程序。

图10是本申请实施例的终端设备(以智慧屏为例)采用的软件架构示意性框图。下面结合图10所示的软件架构，对本申请实施例提供的智慧屏进行示例性说明。

可以理解的是，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，Android系统可以包括应用程序层(application，APP)、框架层(framework，FWK)、硬件抽象层(hardware abstractionlayer，HAL)以及内核层(kernel)。

上述应用层可以包括用户界面(user interface，UI)层和逻辑层。如图10所示，UI层包括视频APP，逻辑层包括电视(TV)播放器(TvPlayer)、TV服务模块(TvService)以及精彩时刻处理模块。

在一些实施例中，对应于上述方法实施例，智慧屏可以通过视频APP播放第一视频流。

上述应用框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程服务。框架层包括一些预先定义的函数。框架层通过API接口将编程服务提供给应用程序层调用。需要说明的是，在本申请实施例中，框架层包括SurfaceFlinger服务模块和媒体播放服务模块(MediaPlayer)。

其中，SurfaceFlinger服务模块可以接收视频APP下发的界面元素并进行图层合成处理。媒体播放服务模块可以视频APP下发的第一视频流，该第一视频流包括视频码流和音频码流，其中，媒体播放服务模块可以将第一视频流进行音视频分解后下发给硬件抽象层的解码模块。

上述硬件抽象层在软件与硬件之间起到了桥梁作用，可以用于将硬件抽象化，为操作系统提供虚拟硬件使用平台。

上述内核层为智慧屏的各种硬件提供了底层驱动。示例性地，如图10所示，内核层包括音频驱动模块(AudioDriver)和显示驱动(未示出)。

可以理解的是，智慧屏还包括基于上述软件架构应用的硬件层，硬件层包括各种硬件。

示例性地，如图10所示，硬件层可以包括显示器，用于实现视频播放功能，例如显示器用于播放第一视频流。硬件层还可以包括蓝牙芯片或者Wi-Fi芯片，用于搜索附近可用设备。硬件层还可以包括扬声器，用于输出第一视频流的音频信号，即视频声音。硬件层还可以包括硬件音视频接口，例如高清多媒体接口(high definition multimediainterface，HDMI)等。

在一些实施例中，如图10所示，硬件抽象层可以包括视频解码器和音频解码器。其中，视频解码器接收应用框架层中的媒体播放服务模块下发的视频码流，然后视频解码器可以对视频码流进行解码。音频解码器接收应用框架层中的媒体播放服务模块下发的音频码流，然后音频解码器可以对音频码流进行解码。

在一些实施例中，如图10所示，硬件抽象层还可以包括屏幕视控系统(on screendisplay，OSD)、视频对象(vidio object，VO)以及视频合成器(VideoMix)。屏幕视控系统OSD可以获取经过SurfaceFlinger服务模块处理后的图层。视频对象从视频解码器处获取视频码流。视频合成器可以将屏幕视控系统OSD下发的处理后的图层以及视频对象VO处的视频码流进行合成，得到待送显的视频流。视频合成器可以将该待送显的视频流下发到硬件层的显示器，由显示器完成视频流播放。

在一些实施例中，如图10所示，硬件抽象层包括音视频接口。应用程序层的TV播放器在启动输入源(如来自视频APP的视频流资源)播放时，可以调用音视频接口，触发从视频解码器获取视频码流以及从音频解码器获取音频码流实现视频播放。可选地，TV播放器可以根据播放命令，启动输入源播放视频流资源。

在一些实施例中，如图10所示，硬件抽象层包括音频采集模块(AudioCapture)以及视频采集模块(ScreenCaptureH)。其中，音频采集模块(AudioCapture)以及视频采集模块(ScreenCaptureH)统称为录屏服务(ScreenRecord)。

本申请提供的画面内容配音方法包括音频采集通道和视频采集通道。其中，音频采集通道涉及音频解码器、音频驱动(AudioDriver)以及音频采集模块(AudioCapture)。视频采集通道涉及视频合成器(VideoMix)和视频采集模块(ScreenCaptureH)。

在音频采集通道中，音频采集模块(AudioCapture)在视频播放过程中可以通过音频驱动(AudioDriver)从音频解码器实时采集音频数据。还可以采集由拾音器录制，并编码的用户音频。然后，音频采集模块(AudioCapture)将实时采集的音频数据(也称为音频码流)上报给TV服务模块。其中，音频数据可以经过缓存及编码处理，得到脉冲编码调制(pulse code modulation，PCM)的音频码流。

在视频采集通道中，视频采集模块(ScreenCaptureH)在视频播放过程中从视频合成器(VideoMix)实时采集视频数据，然后将实时采集的视频数据(也称为视频码流)上报给TV服务模块。

相应地，TV服务模块可以接收音频采集模块上报的音频码流以及视频采集模块上报的视频码流。TV服务模块还可以对音频码流和视频码流进行音画同步处理，得到音画同步后的视频流。其中，TV服务模块可以通过时间戳同步计算来实现音画同步。

精彩时刻处理模块可以感应合成指令，并根据合成指令，针对正在播放的视频资源进行录制处理。具体地，当精彩时刻处理模块接收到合成指令时，精彩时刻处理模块从TV服务模块获取目标时长(例如15秒)的视频流，并获取目标时长的用户音频。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本申请实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限制。这些术语只是用来将一个元素与另一元素区分开。例如，第一表格可以被命名为第二表格，并且类似地，第二表格可以被命名为第一表格，而不背离各种所描述的实施例的范围。第一表格和第二表格都是表格，但是它们不是同一表格。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的画面内容配音方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、智慧屏设备、智能电视机等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。

图11是本申请一实施例提供的终端设备的结构示意图。如图11所示，该实施例的终端设备11包括：至少一个处理器110(图11中仅示出一个)、存储器111，所述存储器111中存储有可在所述处理器110上运行的计算机程序112。所述处理器110执行所述计算机程序112时实现上述各个画面内容配音方法实施例中的步骤，例如图2所示的步骤201至205。或者，所述处理器110执行所述计算机程序112时实现上述各装置实施例中各模块/单元的功能，例如图8所示模块81至83的功能。

所述终端设备11可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器110、存储器111。本领域技术人员可以理解，图11仅仅是终端设备11的示例，并不构成对终端设备11的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器110可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器111在一些实施例中可以是所述终端设备11的内部存储单元，例如终端设备11的硬盘或内存。所述存储器111也可以是所述终端设备11的外部存储设备，例如所述终端设备11上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器111还可以既包括所述终端设备11的内部存储单元也包括外部存储设备。所述存储器111用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器111还可以用于暂时地存储已经发送或者将要发送的数据。

另外，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

本申请实施例还提供了一种终端设备，所述终端设备包括至少一个存储器、至少一个处理器以及存储在所述至少一个存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时，使所述终端设备实现上述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。

本申请实施例还提供了一种芯片系统，所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现上述各个方法实施例中的步骤。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (12)

1.一种画面内容配音方法，其特征在于，包括：

终端设备对其显示的画面内容进行视频流录制，并同步录制用户音频；

所述终端设备在录制所述画面内容的过程中，获取已录制的所述用户音频的数据量，并根据所述数据量，将对所述画面内容的录制画质调整为目标画质；其中，所述目标画质与所述数据量的大小呈负相关；

当检测到合成指令时，所述终端设备获取已录制的所述视频流和已录制的所述用户音频，并对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的配音视频。

2.根据权利要求1所述的画面内容配音方法，其特征在于，所述终端设备对其显示的画面内容进行视频流录制，包括：

所述终端设备获取上限画质；

所述终端设备对其显示的所述画面内容进行初始画质的所述视频流录制；其中，所述初始画质与所述目标画质相同或不同，且所述初始画质和所述目标画质，均低于或等于所述上限画质。

3.根据权利要求1所述的画面内容配音方法，其特征在于，所述获取已录制的所述用户音频的数据量，包括：

获取在当前时间之前分析时长内录制的所述用户音频的所述数据量。

4.根据权利要求1所述的画面内容配音方法，其特征在于，所述终端设备获取已录制的所述视频流和已录制的所述用户音频，包括：

所述终端设备获取在当前时间之前目标时长内录制的所述视频流和录制的所述用户音频。

5.根据权利要求1所述的画面内容配音方法，其特征在于，所述对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的配音视频，包括：

对获取到的所述视频流进行内容识别，并根据所述内容识别结果从获取到的所述视频流中筛选出若干条视频片段；

从获取到的所述用户音频中，筛选出与所述若干条视频片段一一对应的若干条音频片段；

对筛选出的所述若干条视频片段和所述若干条音频片段进行视频合成，得到合成后的所述配音视频。

6.根据权利要求2所述的画面内容配音方法，其特征在于，所述上限画质为播放设备自带的视频播放器所支持的最高播放画质，所述播放设备用于播放所述配音视频。

7.根据权利要求2或6所述的画面内容配音方法，其特征在于，所述视频流采用H.264方式编码，所述上限画质和所述初始画质均为主流画质。

8.根据权利要求2或6所述的画面内容配音方法，其特征在于，所述对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的配音视频，包括：

设置合成工具的画质相关参数为所述上限画质对应的参数；

利用所述合成工具对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的所述配音视频。

9.一种画面内容配音装置，其特征在于，包括：

录制模块，用于对终端设备显示的画面内容进行视频流录制，并录制用户音频；

画质调整模块，用于在录制所述画面内容的过程中，获取已录制的所述用户音频的数据量，并根据所述数据量，将对所述画面内容的录制画质调整为目标画质；其中，所述目标画质与所述数据量的大小呈负相关；

视频合成模块，用于在检测到合成指令时，获取已录制的所述视频流和已录制的所述用户音频，并对获取到的所述视频流和所述用户音频进行视频合成，得到合成后的配音视频。

10.一种终端设备，其特征在于，所述终端设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现根据权利要求1至8任一项所述方法的步骤。

11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求1至8任一项所述的画面内容配音方法。

12.一种芯片系统，其特征在于，所述芯片系统包括处理器，所述处理器与存储器耦合，所述处理器执行存储器中存储的计算机程序，以实现如权利要求1至8任一项所述的画面内容配音方法。

Images