CN114598898A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114598898A CN114598898A CN202210247363.XA CN202210247363A CN114598898A CN 114598898 A CN114598898 A CN 114598898A CN 202210247363 A CN202210247363 A CN 202210247363A CN 114598898 A CN114598898 A CN 114598898A
- Authority
- CN
- China
- Prior art keywords
- file
- video
- audio
- target audio
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 18
- 239000012634 fragment Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 5
- 241000220317 Rosa Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000220324 Pyrus Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 235000021017 pears Nutrition 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000341 volatile oil Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本公开提供了一种视频处理方法、装置、电子设备及存储介质，其中，该方法包括：获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。本公开实施例，有利于提升用户的观看体验。
Description
技术领域
本公开涉及视频处理技术领域，具体而言，涉及一种视频处理方法、视频处理装置、电子设备及计算机可读存储介质。
背景技术
随着网络以及科学技术的发展，人们的学习方式越来越多样化，也越来越便捷，其中在线学习成为人们一种重要的学习方式。为了方便用户对直播课程的复习以及理解，通常会在直播后生成直播回放视频。
然而，在直播的过程中，通常会出现口误、语义错误等情况，这样会影响生成的直播回放视频的质量，从而影响用户的观看体验。
发明内容
本公开实施例至少提供一种视频处理方法、视频处理装置、电子设备及计算机可读存储介质。
本公开实施例提供了一种视频处理方法，包括：
获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；
对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；
基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；
基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
本公开实施例中，在获取到目标影音文件后，确定目标影音文件中的目标影音片段，并对目标影音片段进行分离处理，得到原始视频文件以及原始音频文件，以确定目标影音文件，根据原始视频文件以及目标音频文件，生成处理后的目标影音片段，如此，可以针对目标影音文件的部分片段进行处理，提升直播回放视频的质量，进而提升用户的观看体验。此外，在目标音频文件包括原始音频文件以及备用音频文件的情况下，可以在直播回放视频中增加相应的音频，进而可以更好的丰富视频内容，增强用户的观看体验。
在一种可能的实施方式中，所述目标音频文件的音频内容与所述原始视频文件的画面内容相匹配。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述备用音频文件与所述原始音频文件的音频内容至少部分不同。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，包括：
基于所述备用音频文件与所述原始视频文件的时长关系，将所述原始视频文件与所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，在所述目标音频文件包括所述原始音频文件以及所述备用音频文件的情况下，所述基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，包括：
基于所述原始视频文件的画面内容、所述原始音频文件的音频内容以及所述备用音频文件的音频内容之间的匹配度，将所述原始视频文件、所述原始音频文件以及所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，所述目标影音片段由第一用户手动确定。
在一种可能的实施方式中，所述确定所述目标影音文件中的目标影音片段，包括：
对所述目标影音文件中的音频内容进行识别，得到识别结果；
在所述识别结果中存在不符合预设要求的音频内容的情况下，将不符合所述预设要求的音频内容所对应的片段确定为所述目标影音片段。
在一种可能的实施方式中，所述方法还包括：
确定所述目标影音文件中除所述目标影音片段外的其他影音片段；
将所述处理后的目标影音片段以及所述其他影音片段进行融合，生成处理后的目标影音文件，所述处理后的目标影音文件用于供第二用户进行在线学习。
本公开实施例提供了一种视频处理装置，包括：
第一确定模块，用于获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；
分离处理模块，用于对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；
第二确定模块，用于基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；
片段生成模块，用于基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
在一种可能的实施方式中，所述目标音频文件的音频内容与所述原始视频文件的画面内容相匹配。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述备用音频文件与所述原始音频文件的音频内容至少部分不同。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述片段生成模块具体用于：
基于所述备用音频文件与所述原始视频文件的时长关系，将所述原始视频文件与所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，在所述目标音频文件包括所述原始音频文件以及所述备用音频文件的情况下，所述片段生成模块具体用于：
基于所述原始视频文件的画面内容、所述原始音频文件的音频内容以及所述备用音频文件的音频内容之间的匹配度，将所述原始视频文件、所述原始音频文件以及所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，所述目标影音片段由第一用户手动确定。
在一种可能的实施方式中，所述第一确定模块具体用于：
对所述目标影音文件中的音频内容进行识别，得到识别结果；
在所述识别结果中存在不符合预设要求的音频内容的情况下，将不符合所述预设要求的音频内容所对应的片段确定为所述目标影音片段。
在一种可能的实施方式中，所述装置还包括文件生成模块：
所述第一确定模块还用于确定所述目标影音文件中除所述目标影音片段外的其他影音片段；
所述文件生成模块，用于将所述处理后的目标影音片段以及所述其他影音片段进行融合，生成处理后的目标影音文件，所述处理后的目标影音文件用于供第二用户进行在线学习。
本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述任一种可能的实施方式中所述的视频处理方法。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述任一种可能的实施方式中所述的视频处理方法。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种在线直播教学的示例性系统架构图；
图2示出了本公开实施例所提供的一种视频处理方法的流程图；
图3示出了本公开实施例所提供的一种直播回放视频的画面的进度条的示意图；
图4示出了本公开实施例所提供的另一种视频处理方法的流程图；
图5示出了本公开实施例所提供的一种视频处理装置的结构示意图；
图6示出了本公开实施例所提供的另一种视频处理装置的结构示意图；
图7示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
随着网络以及科学技术的发展，人们的学习方式越来越多样化，也越来越便捷，其中在线学习成为人们一种重要的学习方式。为了方便用户对直播课程的复习以及理解，通常会在直播后生成直播回放视频。
然而，在直播的过程中，通常会出现口误、语义错误等情况，这样会影响生成的直播回放视频的质量，从而影响用户的观看体验。
针对上述问题，本公开提供了一种视频处理方法，包括：获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
本实施方式中，在获取到目标影音文件后，确定目标影音文件中的目标影音片段，并对目标影音片段进行分离处理，得到原始视频文件以及原始音频文件，以确定目标影音文件，根据原始视频文件以及目标音频文件，生成处理后的目标影音片段，如此，可以针对目标影音文件的部分片段进行处理，提升直播回放视频的质量，进而提升用户的观看体验。此外，在目标音频文件包括原始音频文件以及备用音频文件的情况下，可以在直播回放视频中增加相应的音频，进而可以更好的丰富视频内容，增强用户的观看体验。
本公开实施例所提供的视频处理方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、手持设备、计算设备、可穿戴设备等。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云存储、大数据和人工智能平台等基础云计算服务的云服务器。在一些可能的实现方式中，该视频处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面结合具体的系统应用架构对本申请方案进行详细说明。
请参阅图1，图1示出了一种在线直播教学的示例性系统架构。
如图1所示，系统架构1000可以包括服务器100、教师端200以及多个学生端300。其中，教师端200与服务器100之间，以及服务器100和多个学生端300之间通过网络400建立通信连接。也即，网络400用于在教师端200和学生端300之间提供通信链路的介质。网络400可以包括各种类型的有线通信链路或无线通信链路，例如：有线通信链路包括光纤、双绞线或同轴电缆的，无线通信链路包括蓝牙通信链路、无线保真(Wireless-Fidelity，Wi-Fi)通信链路或微波通信链路等。
教师端200以及学生端300可以通过网络400与服务器100交互，以接收来自服务器100的消息或向服务器100发送消息。教师端200和学生端300上可以安装有各种通信客户端应用，例如：绘图应用、视频录制应用、视频播放应用、语音采集应用、语音交互应用、搜索类应用、及时通信工具、邮箱客户端以及社交平台软件等。
教师端200和学生端300可以是硬件，也可以是软件。当教师端200和学生端300为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携式计算机和台式计算机等。用户可以利用教师端200和学生端300上的显示屏来查看显示的文字、图片、视频等信息。当教师端200和学生端300为软件时，可以是安装在上述所列举的电子设备中，其可以实现呈多个软件或软件模块(例如：用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不作具体限定。
服务器100可以是提供各种服务的业务服务器。需要说明的是，服务器100可以是硬件，也可以是软件。当服务器100为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器100为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块，在此不做具体限定。
应理解，图1中的教师端200、学生端300、服务器100和网络400的数量仅是示意性的。根据实现需要，可以是任意数量的教师端、学生端、服务器和网络。
下面对本公开实施例所提供的视频处理方法进行详细说明。
参见图2所示，为本公开实施例提供的一种视频处理方法的流程图，所述方法包括步骤S101～S104，其中：
S101，获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件。
其中，影音文件是指视频和音频文件的合集，目标影音文件是指直播完成后所生成的回放视频文件，例如，基于上述系统架构1000，在直播完成之后，可以生成直播回放视频。本实施方式中，以线上教学为例，目标影音文件可以是一段课程，目标影音片段可以是课程中的部分片段。
在其他实施方式中，以游戏直播为例，目标影音文件可以是一局游戏的直播回放视频，以比赛直播为例，目标影音文件可以是一场滑雪比赛。
在一种可能的实施方式中，目标影音片段由第一用户手动确定。其中，第一用户可以是直播人员(比如：老师)，还可以是文件审核人员。其他实施方式中，第一用户可以是讲解员，还可以是播报员，具体不做限定。
示例性地，如图3所示，可以在目标影音文件(如图3中的11)的下方展示进度条标识(如图3中的12)，响应于针对进度条标识的触发操作，确定目标影音文件中的目标影音片段。
具体地，若进度条标识被第一次触发，则可以确定目标影音片段的起始时间(比如，图3中的5:23)，若进度条标识被第二次触发，则可以确定目标影音片段的终止时间(比如，图3中的6:12)，根据起始时间以及终止时间，确定目标影音片段(比如，图3中5:23到6:12之间的影音内容)。
示例性地，可以在播放目标影音文件的过程中，响应于针对目标影音文件的触发操作，确定目标影音片段。
具体地，若目标影音文件被第一次触发，则可以确定目标影音片段的起始时间，若目标影音文件被第二次触发，则可以确定目标影音片段的终止时间，根据起始时间以及终止时间，确定目标影音片段；若目标影音文件被长按触发，则可以根据长按的时间，确定目标影音片段。
在另一种可能的实施方式中，可以对所述目标影音文件中的音频内容进行识别，得到识别结果，在所述识别结果中存在不符合预设要求的音频内容的情况下，将不符合所述预设要求的音频内容所对应的片段确定为所述目标影音文件中的目标影音片段。
其中，预设要求包括语义清晰连贯、发音准确、环境安静等。具体地，若识别结果中未存在不符合预设条件的音频内容，则可以说明目标影音文件中的音频内容没有出现问题，无需对目标影音文件进行处理；若识别结果中存在不符合预设条件的音频内容，则可以说明目标影音文件中的音频内容出现问题，将不符合预设要求的音频内容所对应的片段确定为目标影音文件中的目标影音片段。
示例性地，在确定目标影音文件后，需要对目标影音文件中的音频内容进行识别处理，比如，可以通过语音识别技术区分出该音频内容的主播声音以及主播所处的环境产生的声音，根据环境声音确定主播所处的环境是否嘈杂，若识别结果中存在声音嘈杂的现象，则说明目标影音文件中存在不符合预设条件的音频内容，将存在声音嘈杂的片段确定为目标影音文件中的目标影音片段，以对目标影音片段进行处理。比如，50分贝为理想的安静环境，因此，超过50分贝说明所处的环境较为嘈杂。
示例性地，若识别结果中存在某句话中的词语的发音不正确(比如：平翘舌发音不清晰)，则将该句子所对应的片段确定为目标影音文件中的目标影音片段，以方便对句子进行替换处理。
S102，对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件。
在确定目标影音片段之后，需要对目标影音片段进行分离处理，以得到原始视频文件以及原始音频文件。其中，原始视频文件是指影音片段中出现的画面内容所生成的文件，原始音频文件是指影音片段中出现的声音内容所生成的文件。
S103，基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件。
其中，目标音频文件是指符合预设要求的音频内容所对应的音频文件，需要说明的是，目标音频文件的音频内容与原始视频文件的画面内容相匹配，也即，目标音频文件的音频内容与原始视频文件的画面内容之间存在关联。
示例性地，若原始视频文件的画面内容中出现一只狗，则目标音频文件的音频内容可以是关于狗的介绍(比如：狗的品种)，还可以是关于“狗”字的讲解，还可以是狗的多种读法(比如：英文单词dog)；若原始视频文件的画面内容中出现一枝花，则目标音频文件的音频内容可以是关于花的品种，还可以是关于花的成语(比如：春暖花开)，还可以是关于花的诗句讲解(比如：忽如一夜春风来，千树万树梨花开。)。
在一种可能的实施方式中，基于原始视频文件，确定目标音频文件。具体地，可以根据原始视频文件的画面内容，重新对音频内容进行匹配，以确定目标音频文件。
示例性地，原始视频文件的画面内容为玫瑰花，则目标音频文件可以是关于花的多种名称讲解(比如：该花的中文名称为玫瑰花，英文名称为rose)，还可以是讲解花的用途(比如：用于提炼玫瑰精油、用于制作果酱)，还可以是讲解花的作用(比如：玫瑰初开的花朵可入药，有理气、活血、等作用)。
在另一种可能的实施方式中，基于原始音频文件，确定目标音频文件。具体地，可以根据原始音频文件的音频内容，确定目标音频文件的音频内容，比如，原始音频文件的音频内容为人的生长历程，幼年阶段可以换成小孩的声音，老年阶段可以较为苍老的声音。
在另一种可能的实施方式中，基于原始视频文件以及原始音频文件，确定目标音频文件。具体地，可以根据原始视频文件的画面内容以及原始音频文件的音频内容，添加一些声音特效，以丰富课程的内容。其中，声音特效可以是小狗的叫声，还可以是水滴声，具体不做限定。
在其他实施方式中，以球类比赛直播为例，声音特效可以是进球时的呐喊声，还可以是鼓掌声。
示例性地，若原始视频文件的画面内容以下雨作为背景且原始音频文件的音频内容为讲解关于“雨声潺潺”的四字词语，则可以加入水滴声的特效；若原始视频文件的画面内容中出现一只小狗且原始音频文件的音频内容中提及到小狗，则可以加入小狗的叫声。
S104，基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
在确定原始视频文件以及目标音频文件后，可以根据原始视频文件以及目标音频文件，生成处理后的目标影音片段。其中，备用音频文件可以是第一用户进行实时录制的音频文件，也可以是存储在客户端的音频文件，还可以是从网页上直接进行下载的音频文件。可以理解，客户端可以是移动终端设备(比如，手机)。
具体地，备用音频文件可以是音乐音频(比如流水声)，也可以是人声音频，还可以是同时包含音乐音频和人声音频。
在一种可能的实施方式中，若目标音频文件为备用音频文件，此时则需要将备用音频文件替换原始音频文件，因此需要基于备用音频文件与原始视频文件的时长关系，将原始视频文件与备用音频文件进行融合，生成处理后的目标影音片段。需要说明的是，备用音频文件与原始音频文件的音频内容至少部分不同。
具体地，可以先确定备用音频文件的时长与原始视频文件的时长之间的关系，若备用音频文件的时长等于原始视频文件的时长，则将原始音频文件替换为备用音频文件，并将原始视频文件与备用音频文件进行融合，生成处理后的目标影音片段；若备用音频文件的时长大于原始音频文件的时长，则需要对备用音频文件进行处理，比如，加快语速、减少声音留白等，直至处理后的备用音频文件的时长等于原始视频文件的时长，将原始音频文件替换为备用音频文件；若备用音频文件的时长小于原始音频文件的时长，则需要对备用音频文件进行处理，比如，丰富音频内容、放慢语速等，直至处理后的备用音频文件的时长等于原始视频文件的时长，将原始音频文件替换为备用音频文件。
在另一种可能的实施方式中，若目标音频文件包括原始音频文件以及备用音频文件，则可以根据原始视频文件的画面内容、原始音频文件的音频内容以及备用音频文件的音频内容之间的匹配度，将原始视频文件、原始音频文件以及备用音频文件进行融合，生成处理后的目标影音片段。
具体地，根据原始视频文件的画面内容、原始音频文件的音频内容以及备用音频文件的音频内容之间的匹配度，对备用音频文件的播放位置进行判断，若该匹配度大于预设阈值(比如：90％)，则说明备用音频文件的播放位置正确，可以将原始视频文件、原始音频文件以及备用音频文件进行融合；若该匹配度小于预设阈值，则说明备用音频文件的播放位置不正确，需要进一步调整备用音频文件的播放位置，以提高匹配度，直至匹配度大于预设阈值，生成处理后的目标影音片段。
本公开实施例中，在获取到目标影音文件后，确定目标影音文件中的目标影音片段，并对目标影音片段进行分离处理，得到原始视频文件以及原始音频文件，以确定目标影音文件，根据原始视频文件以及目标音频文件，生成处理后的目标影音片段，如此，可以针对目标影音文件的部分片段进行处理，提升直播回放视频的质量，进而提升用户的观看体验。此外，在目标音频文件包括原始音频文件以及备用音频文件的情况下，可以在直播回放视频中增加相应的音频，进而可以更好的丰富视频内容，增强用户的观看体验。
参见图4所示，为本公开实施例所提供的另一种视频处理方法的流程图，该方法与图2中的方法不同的是，在步骤S104之后还包括以下S105～S106：
S105，确定所述目标影音文件中除所述目标影音片段外的其他影音片段。
其中，其他影音片段是目标影音文件中的一部分，可以理解，其他影音片段以及目标影音片段组成完整的目标影音文件。
S106，将所述处理后的目标影音片段以及所述其他影音片段进行融合，生成处理后的目标影音文件，所述处理后的目标影音文件用于供第二用户进行在线学习。
在确定处理后的目标影音片段以及其他影音片段后，可以将处理后的目标影音片段以及其他影音片段进行融合，以生成处理后的目标影音文件，如此，可以得到完整的直播回放视频文件，提高了目标影音文件的准确性以及扩展性。
具体地，处理后的目标影音文件用于供第二用户(比如：学生、培训者)进行在线学习。
其他实施方式中，以游戏直播为例，第二用户可以是观众，还可以是电子竞技爱好者；以新闻直播为例，第二用户可以是监督员，还可以是观看者。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与视频处理方法对应的视频处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述视频处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图5所示，为本公开实施例提供的一种视频处理装置的结构示意图，所述装置500包括：
第一确定模块501，用于获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；
分离处理模块502，用于对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；
第二确定模块503，用于基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；
片段生成模块504，用于基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
在一种可能的实施方式中，所述目标音频文件的音频内容与所述原始视频文件的画面内容相匹配。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述备用音频文件与所述原始音频文件的音频内容至少部分不同。
在一种可能的实施方式中，在所述目标音频文件为所述备用音频文件的情况下，所述片段生成模块504具体用于：
基于所述备用音频文件与所述原始视频文件的时长关系，将所述原始视频文件与所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，在所述目标音频文件包括所述原始音频文件以及所述备用音频文件的情况下，所述片段生成模块504具体用于：
基于所述原始视频文件的画面内容、所述原始音频文件的音频内容以及所述备用音频文件的音频内容之间的匹配度，将所述原始视频文件、所述原始音频文件以及所述备用音频文件进行融合，生成所述处理后的目标影音片段。
在一种可能的实施方式中，所述目标影音片段由第一用户手动确定。
在一种可能的实施方式中，所述第一确定模块501具体用于：
对所述目标影音文件中的音频内容进行识别，得到识别结果；
在所述识别结果中存在不符合预设要求的音频内容的情况下，将不符合所述预设要求的音频内容所对应的片段确定为所述目标影音片段。
参见图6所示，在一种可能的实施方式中，所述装置还包括文件生成模块505：
所述第一确定模块501还用于确定所述目标影音文件中除所述目标影音片段外的其他影音片段；
所述文件生成模块505，用于将所述处理后的目标影音片段以及所述其他影音片段进行融合，生成处理后的目标影音文件，所述处理后的目标影音文件用于供第二用户进行在线学习。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
基于同一技术构思，本申请实施例还提供了一种电子设备。参照图7所示，为本申请实施例提供的一种电子设备700的结构示意图，包括处理器701、存储器702和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。
本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中所揭示的方法。
其中，存储器702可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read－Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read－Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read－Only Memory，EEPROM)等。
处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的视频处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的视频处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的视频处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。
Claims (11)
1.一种视频处理方法，其特征在于，包括：
获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；
对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；
基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；
基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
2.根据权利要求1所述的方法，其特征在于，所述目标音频文件的音频内容与所述原始视频文件的画面内容相匹配。
3.根据权利要求1所述的方法，其特征在于，在所述目标音频文件为所述备用音频文件的情况下，所述备用音频文件与所述原始音频文件的音频内容至少部分不同。
4.根据权利要求1所述的方法，其特征在于，在所述目标音频文件为所述备用音频文件的情况下，所述基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，包括：
基于所述备用音频文件与所述原始视频文件的时长关系，将所述原始视频文件与所述备用音频文件进行融合，生成所述处理后的目标影音片段。
5.根据权利要求1所述的方法，其特征在于，在所述目标音频文件包括所述原始音频文件以及所述备用音频文件的情况下，所述基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，包括：
基于所述原始视频文件的画面内容、所述原始音频文件的音频内容以及所述备用音频文件的音频内容之间的匹配度，将所述原始视频文件、所述原始音频文件以及所述备用音频文件进行融合，生成所述处理后的目标影音片段。
6.根据权利要求1所述的方法，其特征在于，所述目标影音片段由第一用户手动确定。
7.根据权利要求1所述的方法，其特征在于，所述确定所述目标影音文件中的目标影音片段，包括：
对所述目标影音文件中的音频内容进行识别，得到识别结果；
在所述识别结果中存在不符合预设要求的音频内容的情况下，将不符合所述预设要求的音频内容所对应的片段确定为所述目标影音片段。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述目标影音文件中除所述目标影音片段外的其他影音片段；
将所述处理后的目标影音片段以及所述其他影音片段进行融合，生成处理后的目标影音文件，所述处理后的目标影音文件用于供第二用户进行在线学习。
9.一种视频处理装置，其特征在于，包括：
第一确定模块，用于获取目标影音文件，并确定所述目标影音文件中的目标影音片段，所述目标影音文件为直播回放视频文件；
分离处理模块，用于对所述目标影音片段进行分离处理，得到原始视频文件以及原始音频文件；
第二确定模块，用于基于所述原始视频文件和/或所述原始音频文件，确定目标音频文件；
片段生成模块，用于基于所述原始视频文件以及所述目标音频文件，生成处理后的目标影音片段，所述目标音频文件包括所述原始音频文件以及备用音频文件，或者，所述目标音频文件为所述备用音频文件。
10.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至8任意一项所述的视频处理方法。
11.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至8任意一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247363.XA CN114598898A (zh) | 2022-03-14 | 2022-03-14 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210247363.XA CN114598898A (zh) | 2022-03-14 | 2022-03-14 | 视频处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114598898A true CN114598898A (zh) | 2022-06-07 |
Family
ID=81808968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210247363.XA Pending CN114598898A (zh) | 2022-03-14 | 2022-03-14 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114598898A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337558A (zh) * | 2017-12-26 | 2018-07-27 | 努比亚技术有限公司 | 音视频剪辑方法及终端 |
| CN108962293A (zh) * | 2018-07-10 | 2018-12-07 | 武汉轻工大学 | 录像修正方法、系统、终端设备及存储介质 |
| CN110213610A (zh) * | 2019-06-13 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 一种直播场景识别方法及装置 |
| CN111246283A (zh) * | 2020-01-17 | 2020-06-05 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
| CN112153397A (zh) * | 2020-09-16 | 2020-12-29 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、服务器及存储介质 |
-
2022
- 2022-03-14 CN CN202210247363.XA patent/CN114598898A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337558A (zh) * | 2017-12-26 | 2018-07-27 | 努比亚技术有限公司 | 音视频剪辑方法及终端 |
| CN108962293A (zh) * | 2018-07-10 | 2018-12-07 | 武汉轻工大学 | 录像修正方法、系统、终端设备及存储介质 |
| CN110213610A (zh) * | 2019-06-13 | 2019-09-06 | 北京奇艺世纪科技有限公司 | 一种直播场景识别方法及装置 |
| CN111246283A (zh) * | 2020-01-17 | 2020-06-05 | 北京达佳互联信息技术有限公司 | 视频播放方法、装置、电子设备及存储介质 |
| CN112153397A (zh) * | 2020-09-16 | 2020-12-29 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、服务器及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111741326B (zh) | 视频合成方法、装置、设备及存储介质 | |
| CN108566565B (zh) | 弹幕展示方法及装置 | |
| CN112087655B (zh) | 赠送虚拟礼物的方法、装置及电子设备 | |
| TWI658375B (zh) | 互動式影音分享方法及系統 | |
| CN107733666A (zh) | 一种会议实现方法、装置及电子设备 | |
| CN114095749B (zh) | 推荐及直播界面展示方法、计算机存储介质、程序产品 | |
| CN113780217A (zh) | 直播辅助提示方法、装置、计算机设备及存储介质 | |
| CN110880324A (zh) | 语音数据的处理方法、装置、存储介质及电子设备 | |
| CN113301358A (zh) | 内容提供及展示方法、装置、电子设备、存储介质 | |
| CN110072140A (zh) | 一种视频信息提示方法、装置、设备及存储介质 | |
| CN111079423A (zh) | 一种听写报读音频的生成方法、电子设备及存储介质 | |
| CN112422844A (zh) | 在视频中添加特效的方法、装置、设备及可读存储介质 | |
| CN114339285A (zh) | 知识点的处理方法、视频处理方法、装置及电子设备 | |
| CN111629222B (zh) | 一种视频处理方法、设备及存储介质 | |
| CN113038053A (zh) | 一种数据合成方法、装置、电子设备以及存储介质 | |
| CN111160051B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN113762056A (zh) | 演唱视频识别方法、装置、设备及存储介质 | |
| CN110324702B (zh) | 视频播放过程中的信息推送方法和装置 | |
| CN114598898A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN116708853A (zh) | 直播中的互动方法、装置和电子设备 | |
| CN115297370A (zh) | 直播回放视频的处理方法、装置、电子设备及存储介质 | |
| CN115767195A (zh) | 直播方法及装置、存储介质及电子设备 | |
| CN115963963A (zh) | 互动小说生成方法、呈现方法、装置、设备及介质 | |
| CN114745594A (zh) | 直播回放视频的生成方法、装置、电子设备及存储介质 | |
| CN113329233B (zh) | 直播数据的处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220607 |
|
| RJ01 | Rejection of invention patent application after publication |