CN114979800A - 交互式录屏方法、电子设备及可读存储介质 - Google Patents

交互式录屏方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN114979800A
CN114979800A CN202210518656.7A CN202210518656A CN114979800A CN 114979800 A CN114979800 A CN 114979800A CN 202210518656 A CN202210518656 A CN 202210518656A CN 114979800 A CN114979800 A CN 114979800A
Authority
CN
China
Prior art keywords
stream data
screen recording
video stream
data
audio stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210518656.7A
Other languages
English (en)
Inventor
张晓辉
宁秋梅
薛海啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Skyworth RGB Electronics Co Ltd
Original Assignee
Shenzhen Skyworth RGB Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Skyworth RGB Electronics Co Ltd filed Critical Shenzhen Skyworth RGB Electronics Co Ltd
Priority to CN202210518656.7A priority Critical patent/CN114979800A/zh
Publication of CN114979800A publication Critical patent/CN114979800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording

Abstract

本申请公开了交互式录屏方法、电子设备及可读存储介质，应用于第一遥控设备，所述交互式录屏方法包括：获取音频流数据、视频流数据以及歌词时间戳；将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；接收所述服务器发送的合唱录屏数据。本申请解决了现有技术中K歌录屏效果差的技术问题。

Description

交互式录屏方法、电子设备及可读存储介质
技术领域
本申请涉及智能电器技术领域，尤其涉及一种交互式录屏方法、电子设备及可读存储介质。
背景技术
随着在线娱乐的深入发展，在线K歌成为了人们生活中重要的娱乐形式，在线K歌具有很强的沉浸感体验，多元化的玩法和强大的社交系统迎合了不同用户群体的个性化需求，成为了在线娱乐领域的主要项目之一。但目前的在线K歌方式相同时间仅限于亲友在同一设备上合唱，不能满足异地亲友同时K歌的需求，在演唱方式上有较高的局限性，从而影响K歌录屏的效果。
发明内容
本申请的主要目的在于提供一种交互式录屏方法、电子设备及可读存储介质，旨在解决现有技术中K歌录屏效果差的技术问题。
为实现上述目的，本申请提供一种交互式录屏方法，应用于录屏设备，所述交互式录屏方法包括：
获取音频流数据、视频流数据以及歌词时间戳；
将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
接收所述服务器发送的合唱录屏数据。
所述获取视频流数据，包括：
获取摄像头录制的原始视频流数据，其中，所述视频流数据至少包括一原始视频帧画面；
通过对所述视频帧画面进行人像识别，对所述视频帧画面进行前景和背景分离，得到人像区域画面图像和非人像区域画面图像；
依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，得到编辑人像区域图像和编辑非人像区域图像；
通过将所述编辑人像区域图像和所述编辑非人像区域图像进行融合，生成所述视频流数据。
所述依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，包括：
依据所述预设视频特效添加方式，对所述非人像区域画面图像进行更换；
依据所述预设视频特效添加方式及更换后的非人像区域画面图像，调整所述人像区域画面图像的色彩属性信息数据。
在所述获取音频流数据、视频流数据以及歌词时间戳的步骤之前，所述交互式录屏方法还包括：
确定是否能获取到所述音频流数据、所述视频流数据及所述歌词时间戳；
若确定能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则执行步骤：将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
若确定不能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则播放上一时间步所述服务器发送的合唱录屏数据。
为实现上述目的，本申请提供一种交互式录屏方法，应用于服务器，所述交互式录屏方法包括：
接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；
根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；
将所述合唱录屏数据发送至各录屏设备。
所述根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据的步骤包括：
从所述歌词时间戳中提取各时间点；
根据所述时间点将各所述音频流数据及各所述视频流数据的各时间点同步，得到同步后的各所述音频流数据及同步后的各所述视频流数据；
将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据。
所述各所述音频流数据包括实时录屏所获得的音频流数据，所述各所述视频流数据包括实时录屏所获得的视频流数据，
所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据包括：
将各所述音频流数据及各所述视频流数据依据各录屏设备之间的连接关系匹配对应的合唱录屏数据，以将所述对应的合唱录屏数据分别发送至各录屏设备。
可选地，在所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据的步骤之后，所述交互式录屏方法还包括：
提取歌词时间戳中的歌词及对应时间点；
将所述歌词嵌入所述合唱录屏数据对应时间点的视频帧画面中，得到嵌入歌词的合唱视频流数据。
为实现上述目的，本申请还提供一种交互式录屏装置，应用于录屏设备，所述交互式录屏装置包括：
获取模块，用于获取音频流数据、视频流数据以及歌词时间戳；
发送模块，用于将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
接收模块，用于接收所述服务器发送的合唱录屏数据。
为实现上述目的，本申请还提供一种交互式录屏装置，应用于服务器，所述交互式录屏装置包括：
接收模块，用于接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；
合成模块，用于根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；
发送模块，用于将所述合唱录屏数据发送至各录屏设备。
本申请还提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述交互式录屏方法的程序，所述交互式录屏方法的程序被处理器执行时可实现如上述的交互式录屏方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现交互式录屏方法的程序，所述交互式录屏方法的程序被处理器执行时实现如上述的交互式录屏方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的交互式录屏方法的步骤。
本申请提供了一种交互式录屏方法、电子设备及可读存储介质，本申请通过获取音频流数据、视频流数据以及歌词时间戳；将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；接收所述服务器发送的合唱录屏数据。也即，本申请在各录屏设备上获取音频流数据及视频流数据，通过发送给服务器合成为合唱录屏数据，再接收从服务器发送的合唱录屏数据，使交互式录屏能够解决用户在多种情况下的录屏需求，克服了传统交互式录屏在时间地点上的限制，提升了K歌录屏的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请交互式录屏方法第一实施例的流程示意图；
图2为本申请交互式录屏方法第二实施例的流程示意图；
图3为本申请实施例中交互式录屏方法涉及的硬件运行环境的设备结构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本发明保护的范围。
实施例一
本申请实施例提供一种交互式录屏方法，应用于录屏设备，在本申请交互式录屏方法的第一实施例中，参照图1，所述交互式录屏方法包括：
步骤S10，获取音频流数据、视频流数据以及歌词时间戳；
步骤S20，将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
步骤S30，接收所述服务器发送的合唱录屏数据。
在本实施例中，需要说明的是，所述录屏设备可以为发起方录屏设备和被邀请方设备，其中，被邀请方设备可以为一个或多个设备；所述音频流数据可以为所述录屏设备录制的音频数据和用户选择的背景音乐等中的一项或多项；所述合唱录屏数据由服务器根据所述录屏设备传送的音频流数据及视频流数据整合得到；在所述获取音频流数据、视频流数据以及歌词时间戳之前，发起方录屏设备用户可以通过遥控器点击或者语音唤醒等方式打开交互式录屏的APP，在所述发起方录屏设备上选择系统推荐的背景音乐或者通过歌名搜索、歌手名搜索、歌曲热度搜索等方式选择背景音乐，为了让发起方录屏设备与被邀请方录屏设备建立连接，发起方用户可以通过系统通讯录邀请好友并建立录屏房间号，邀请的好友可以为一位或者多位，所述交互式录屏的APP在首次使用时可以选择喜爱的歌曲标签，以供后续根据所述歌曲标签推送用户喜欢的背景音乐，在选择背景音乐之后，系统会根据录屏设备的数量对所述背景音乐进行段落划分，在所述录屏设备采集音频流数据及视频流数据时，系统可以对各个录屏设备录制的音频流数据进行评分；在摄像头采集录屏设备录制的视频流数据时，所述录制的视频流数据会实时显示在录屏设备的屏幕上。
作为一种示例，步骤S10至步骤S30包括：
获取用户选择的音乐信息和对应的伴奏音乐，采集所述录屏设备上录制的音频数据，所述音乐信息可以为歌名、作曲、歌手、歌词时间戳等，采集所述发起方录屏设备当前录制的屏幕画面，将所述录制的音频数据及伴奏音乐进行混合，得到混合音乐数据，将所述混合音乐数据及当前录制的屏幕画面分别封装成音频流数据及视频流数据，同时根据伴奏音乐匹配获取对应的歌词时间戳；将所述音频流数据、所述视频流数据以及所述歌词时间戳发送至服务器，以供服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳对各所述音频流数据、各所述视频流数据进行融合，得到融合后的合唱录屏数据，将所述合唱录屏数据同步发送至各录屏设备；接收所述服务器发送的合唱录屏数据；在所述接收所述服务器发送的合唱录屏数据之后，可以将所述合唱录屏数据在所述录屏设备上播放出来，也可以将所述合唱音频流数据及合唱视频流数据合成为完整的录屏视频数据，保存在本地，也可以通过多种途径将所述录屏视频发送至手机或者上传至社交媒体，其中，所述合唱录屏数据为服务器根据不同录屏设备需要的内容分发的音频流数据及视频流数据合成，可以由所有录屏设备传送的音频流数据与视频流数据整合而成，也可以由除接收的录屏设备之外的其他录屏设备传送的音频流数据与视频流数据整合而成，播放时，录屏设备会同时播放本设备录制的视频流数据及接收到的合唱录屏数据。
其中，所述获取视频流数据，包括：
步骤S11，获取摄像头录制的原始视频流数据，其中，所述视频流数据至少包括一原始视频帧画面；
步骤S12，通过对所述视频帧画面进行人像识别，对所述视频帧画面进行前景和背景分离，得到人像区域画面图像和非人像区域画面图像；
步骤S13，依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，得到编辑人像区域图像和编辑非人像区域图像；
步骤S14，通过将所述编辑人像区域图像和所述编辑非人像区域图像进行融合，生成所述视频流数据。
作为一种示例，步骤S11至步骤S14包括：
用户可以通过摄像头实时录制视频画面，得到原始视频流数据，所述原始视频流数据至少包括一原始视频帧画面；对所述原始视频帧画面进行人像识别，利用抠图技术，对所述视频帧画面进行分离，将所述视频帧画面中的人像部分与背景部分分开，将所述视频帧画面分离为人像区域画面图像及非人像区域画面图像；依据系统的各预设视频特效添加方式，例如对人像区域画面图像的色彩进行调整或对非人像区域画面图像进行背景修改，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，得到编辑人像区域图像和编辑非人像区域图像；将所述编辑人像区域图像及非人像区域图像重新融合成完整的视频流数据。
其中，所述依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，包括：
步骤S131，依据所述预设视频特效添加方式，对所述非人像区域画面图像进行更换；
步骤S132，依据所述预设视频特效添加方式及更换后的非人像区域画面图像，调整所述人像区域画面图像的色彩属性信息数据。
在本实施例中，需要说明的是，所述非人像区域画面图像通常为背景图像，对所述非人像区域画面图像进行主动编辑通常由发起方录屏设备执行，可以在所述录屏设备的屏幕上选择预设环境背景，例如，“酒吧”、“舞台”、“海滩”等背景效果，也可以通过本地上传图片来更换背景；所述色彩属性数据可以为色相、饱和度、亮度等中的一种或多种。
作为一种示例，步骤S131至步骤S132包括：
依据各所述预设视频特效添加方式，对所述非人像区域画面图像进行更换修改，得到编辑非人像区域图像，例如将所述非人像区域画面图像替换为预置的背景图像，或将所述非人像区域画面图像替换成用户主动导入的照片；依据得到的编辑非人像区域图像对所述人像区域画面图像的色彩属性信息进行调整，得到编辑人像区域图像，其中，在得到编辑非人像区域画面的过程中，可以得到系统对所述人像区域画面图像所预设的色彩属性数据。
编辑所述人像区域视频数据及所述非人像区域视频数据，所述编辑可以为对背景的编辑，对色彩属性信息的编辑等。
其中，在所述获取音频流数据、视频流数据以及歌词时间戳的步骤之前，所述交互式录屏方法还包括：
步骤A10，确定是否能获取到所述音频流数据、所述视频流数据及所述歌词时间戳；
步骤A20，若确定能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则执行步骤：将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
步骤A30，若确定不能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则播放上一时间步所述服务器发送的合唱录屏数据。
作为一种示例，步骤A10至步骤A30包括：
确定是否能获取到音频流数据、视频流数据及歌词时间戳；若确定能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则重新执行步骤S20：将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据，所述合唱录屏数据为此次录屏的部分录屏数据；若确定不能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则在上一时间步所述服务器发送的合唱录屏数据中包含此次录屏的所有录屏数据，播放上一时间步所述服务器发送的合唱录屏数据。
在本实施例中，需要说明的是，在播放所述合唱录屏数据之后，录屏设备可以将所述合唱录屏数据合成为一个完整的录屏视频文件，并将所述录屏视频文件保存至本地，或者通过生成文件二维码将所述录屏视频文件发送至手机及社交媒体上。
本申请提供了一种交互式录屏方法、电子设备及可读存储介质，本申请通过获取音频流数据、视频流数据以及歌词时间戳；将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；接收所述服务器发送的合唱录屏数据。也即，本申请在各录屏设备上获取音频流数据及视频流数据，通过发送给服务器合成为合唱录屏数据，再接收从服务器发送的合唱录屏数据，使交互式录屏能够解决用户在多种情况下的录屏需求，克服了传统交互式录屏在时间地点上的限制，提升了K歌录屏的效果。
实施例二
进一步地，参照图2，在本申请另一实施例中，本申请实施例提供一种交互式录屏方法，应用于服务器，所述交互式录屏方法包括：
步骤B10，接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；
步骤B20，根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；
步骤B30，将所述合唱录屏数据发送至各录屏设备。
在本实施例中，需要说明的是，所述录屏设备可以为发起方录屏设备和被邀请方设备，其中，被邀请方设备可以为一个或多个设备；所述音频流数据可以为所述录屏设备录制的音频数据和用户选择的背景音乐等中的一项或多项；所述合唱录屏数据由服务器根据录屏设备传送的音频流数据及视频流数据整合得到；所述录屏可以分为实时录屏和非实时录屏，在实时录屏中，会不断接收到新的音频流数据、新的视频流数据以及新的歌词时间戳，直至此次实时录屏结束才会停止接收动作，在非实时录屏中，将一次接收到同一录屏设备的全部音频流数据、全部视频流数据以及全部歌词时间戳。
作为一种示例，步骤B10至步骤B30包括：
接收所述发起方录屏设备及被邀请方录屏设备发送的音频流数据、视频流数据及歌词时间戳；根据所述歌词时间戳匹配所述音频流数据及所述视频流数据，将匹配后的音频流数据及所述视频流数据融合，得到融合后的合唱录屏数据；将所述合唱录屏数据同步发送至各录屏设备。
其中，所述根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据的步骤包括：
步骤B21，从所述歌词时间戳中提取各时间点；
步骤B22，根据所述时间点将各所述音频流数据及各所述视频流数据的各时间点同步，得到同步后的各所述音频流数据及同步后的各所述视频流数据；
步骤B23，将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据。
作为一种示例，步骤B21至步骤B23包括：
从所述歌词时间戳中提取歌词及各时间点，一般为一句歌词对应一个时间点；根据所述歌词及所述各时间点将所述音频流数据及视频流数据的时间点同步，使得歌词、音频流数据及视频流数据的时间点一一对应，得到同步后的各所述音频流数据及同步后的各所述视频流数据，所述同步后的各所述音频流数据及同步后的各所述视频流数据在同一个时间点的音频内容和视频内容是对应的；将同步后的音频流数据及同步后的视频流数据融合，得到合唱录屏数据。
其中，所述各所述音频流数据包括实时录屏所获得的音频流数据，所述各所述视频流数据包括实时录屏所获得的视频流数据，
所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据包括：
步骤B31，将各所述音频流数据及各所述视频流数据依据各录屏设备之间的连接关系匹配对应的合唱录屏数据，以将所述对应的合唱录屏数据分别发送至各录屏设备。
在本实施例中，需要说明的是，在实时录屏过程中，用户设备可以在录制的同时播放合唱录屏数据，各录屏设备之间具有连接关系，不同录屏设备依据连接关系可以匹配接收到不同的合唱录屏数据。
作为一种示例，步骤B31包括：
在各录屏设备之间建立连接关系，依据各所述音频流数据及各所述视频流数据合成不同的合唱录屏数据，依据所述链接关系匹配对应的合唱录屏数据，将所述对应的合唱录屏数据发送至所述各录屏设备，这种匹配过程例如，发起方录屏设备X向被邀请方录屏设备Y与被邀请方录屏设备Z发送邀请，录屏设备X、Y、Z分别将音频流数据与视频流数据发送至服务端，当服务器依据不同录屏设备分发不同的合唱音频流数据及合唱视频流数据时，所述录屏设备X将接收到录屏设备Y与录屏设备Z的音频流数据与视频流数据合成的合唱录屏数据，录屏设备Y将接收到录屏设备X与录屏设备Z的音频流数据与视频流数据合成的合唱录屏数据，录屏设备Z将接收到录屏设备X与录屏设备Y的音频流数据与视频流数据合成的合唱录屏数据；使所述交互式录屏方法能够同时满足用户实时或非实时的录屏需求。
其中，在所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据的步骤之后，所述交互式录屏方法还包括：
步骤B24，提取歌词时间戳中的歌词及对应时间点；
步骤B25，将所述歌词嵌入所述合唱录屏数据对应时间点的视频帧画面中，得到嵌入歌词的合唱视频流数据。
作为一种示例，步骤B24至步骤B25包括：
从所述歌词时间戳中提取歌词及歌词的时间点，通常为一句歌词对应一个时间点；依据所述时间点获得所述合唱录屏数据的对应视频帧画面，在所述对应视频帧画面中嵌入所述时间点对应的歌词。
需要说明的是，所述各录屏设备在播放合唱录屏数据时，所述合唱录屏数据的音频内容、视频内容及歌词显示是对应的。
本申请提供了一种交互式录屏方法、电子设备及可读存储介质，本申请通过接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；将所述合唱录屏数据发送至各录屏设备。也即，本申请在各录屏设备上获取音频流数据及视频流数据，通过发送给服务器合成为合唱录屏数据，再接收从服务器发送的合唱录屏数据，使交互式录屏能够解决用户在多种情况下的录屏需求，克服了传统交互式录屏在时间地点上的限制，提升了K歌录屏的效果。
实施例三
本申请实施例还提供一种交互式录屏装置，应用于录屏设备，所述交互式录屏装置包括：
获取模块，用于获取音频流数据、视频流数据以及歌词时间戳；
发送模块，用于将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
接收模块，用于接收所述服务器发送的合唱录屏数据。
可选地，所述获取模块还用于：
获取摄像头录制的原始视频流数据，其中，所述视频流数据至少包括一原始视频帧画面；
通过对所述视频帧画面进行人像识别，对所述视频帧画面进行前景和背景分离，得到人像区域画面图像和非人像区域画面图像；
依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，得到编辑人像区域图像和编辑非人像区域图像；
通过将所述编辑人像区域图像和所述编辑非人像区域图像进行融合，生成所述视频流数据。
可选地，所述获取模块还用于：
依据所述预设视频特效添加方式，对所述非人像区域画面图像进行更换；
依据所述预设视频特效添加方式及更换后的非人像区域画面图像，调整所述人像区域画面图像的色彩属性信息数据。
可选地，所述交互式录屏装置还用于：
确定是否能获取到所述音频流数据、所述视频流数据及所述歌词时间戳；
若确定能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则执行步骤：将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
若确定不能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则播放上一时间步所述服务器发送的合唱录屏数据。
本发明提供的交互式录屏装置，采用上述实施例中的交互式录屏方法，解决了K歌录屏效果差的技术问题。与现有技术相比，本发明实施例提供的交互式录屏装置的有益效果与上述实施例提供的交互式录屏方法的有益效果相同，且该交互式录屏装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
实施例四
本申请实施例还提供一种交互式录屏装置，应用于服务器，所述交互式录屏装置包括：
接收模块，用于接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；
合成模块，用于根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；
发送模块，用于将所述合唱录屏数据发送至各录屏设备。
可选地，所述合成模块还用于：
从所述歌词时间戳中提取各时间点；
根据所述时间点将各所述音频流数据及各所述视频流数据的各时间点同步，得到同步后的各所述音频流数据及同步后的各所述视频流数据；
将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据。
可选地，所述合成模块还用于：
所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据包括：
将各所述音频流数据及各所述视频流数据依据各录屏设备之间的连接关系匹配对应的合唱录屏数据，以将所述对应的合唱录屏数据分别发送至各录屏设备。
可选地，所述交互式录屏装置还包括：
提取歌词时间戳中的歌词及对应时间点；
将所述歌词嵌入所述合唱录屏数据对应时间点的视频帧画面中，得到嵌入歌词的合唱视频流数据。
本发明提供的交互式录屏装置，采用上述实施例中的交互式录屏方法，解决了K歌录屏效果差的技术问题。与现有技术相比，本发明实施例提供的交互式录屏装置的有益效果与上述实施例提供的交互式录屏方法的有益效果相同，且该交互式录屏装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
实施例五
本发明实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的交互式录屏方法。
下面参考图3，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常，以下系统可以连接至I/O接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从ROM被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
本发明提供的电子设备，采用上述实施例中的交互式录屏方法，解决了K歌录屏效果差的技术问题。与现有技术相比，本发明实施例提供的电子设备的有益效果与上述实施例提供的交互式录屏方法的有益效果相同，且该电子设备中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
实施例六
本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的交互式录屏的方法。
本发明实施例提供的计算机可读存储介质例如可以是U盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：获取音频流数据、视频流数据以及歌词时间戳；将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；接收所述服务器发送的合唱录屏数据。
又或者接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；将所述合唱录屏数据发送至各录屏设备。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
本发明提供的计算机可读存储介质，存储有用于执行上述交互式录屏方法的计算机可读程序指令，解决了K歌录屏效果差的技术问题。与现有技术相比，本发明实施例提供的计算机可读存储介质的有益效果与上述实施例提供的交互式录屏方法的有益效果相同，在此不做赘述。
实施例七
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的交互式录屏方法的步骤。
本申请提供的计算机程序产品解决了K歌录屏效果差的技术问题。与现有技术相比，本发明实施例提供的计算机程序产品的有益效果与上述实施例提供的交互式录屏方法的有益效果相同，在此不做赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (10)

1.一种交互式录屏方法，其特征在于，应用于录屏设备，所述交互式录屏方法包括：
获取音频流数据、视频流数据以及歌词时间戳；
将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
接收所述服务器发送的合唱录屏数据。
2.如权利要求1所述的交互式录屏方法，其特征在于，所述获取视频流数据，包括：
获取摄像头录制的原始视频流数据，其中，所述视频流数据至少包括一原始视频帧画面；
通过对所述视频帧画面进行人像识别，对所述视频帧画面进行前景和背景分离，得到人像区域画面图像和非人像区域画面图像；
依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，得到编辑人像区域图像和编辑非人像区域图像；
通过将所述编辑人像区域图像和所述编辑非人像区域图像进行融合，生成所述视频流数据。
3.如权利要求2所述的交互式录屏方法，其特征在于，所述依据预设视频特效添加方式，对所述人像区域画面图像及所述非人像区域画面图像分别进行编辑，包括：
依据所述预设视频特效添加方式，对所述非人像区域画面图像进行更换；
依据所述预设视频特效添加方式及更换后的非人像区域画面图像，调整所述人像区域画面图像的色彩属性信息数据。
4.如权利要求1所述的交互式录屏方法，其特征在于，在所述获取音频流数据、视频流数据以及歌词时间戳的步骤之前，所述交互式录屏方法还包括：
确定是否能获取到所述音频流数据、所述视频流数据及所述歌词时间戳；
若确定能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则执行步骤：将所述音频流数据、所述视频流数据及所述歌词时间戳发送至服务器，以供所述服务器接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳，根据各所述歌词时间戳，对各所述音频流数据和各所述视频流数据进行融合，得到合唱录屏数据；
若确定不能获取到所述音频流数据、所述视频流数据及所述歌词时间戳，则播放上一时间步所述服务器发送的合唱录屏数据。
5.一种交互式录屏方法，其特征在于，应用于服务器，所述交互式录屏方法包括：
接收各录屏设备发送的音频流数据、视频流数据及歌词时间戳；
根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据；
将所述合唱录屏数据发送至各录屏设备。
6.如权利要求5所述的交互式录屏方法，其特征在于，所述根据各所述歌词时间戳对各所述音频流数据及各所述视频流数据进行融合，得到合唱录屏数据的步骤包括：
从所述歌词时间戳中提取各时间点；
根据所述时间点将各所述音频流数据及各所述视频流数据的各时间点同步，得到同步后的各所述音频流数据及同步后的各所述视频流数据；
将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据。
7.如权利要求6所述的交互式录屏方法，其特征在于，所述各所述音频流数据包括实时录屏所获得的音频流数据，所述各所述视频流数据包括实时录屏所获得的视频流数据，
所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据包括：
将各所述音频流数据及各所述视频流数据依据各录屏设备之间的连接关系匹配对应的合唱录屏数据，以将所述对应的合唱录屏数据分别发送至各录屏设备。
8.如权利要求6所述的交互式录屏方法，其特征在于，在所述将同步后的各所述音频流数据及同步后的各所述视频流数据融合得到合唱录屏数据的步骤之后，所述交互式录屏方法还包括：
提取歌词时间戳中的歌词及对应时间点；
将所述歌词嵌入所述合唱录屏数据对应时间点的视频帧画面中，得到嵌入歌词的合唱视频流数据。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4或者5至8中任一项所述的交互式录屏方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有实现交互式录屏方法的程序，所述实现交互式录屏方法的程序被处理器执行以实现如权利要求1至4或者5至8中任一项所述交互式录屏方法的步骤。
CN202210518656.7A 2022-05-13 2022-05-13 交互式录屏方法、电子设备及可读存储介质 Pending CN114979800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210518656.7A CN114979800A (zh) 2022-05-13 2022-05-13 交互式录屏方法、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210518656.7A CN114979800A (zh) 2022-05-13 2022-05-13 交互式录屏方法、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN114979800A true CN114979800A (zh) 2022-08-30

Family

ID=82982519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210518656.7A Pending CN114979800A (zh) 2022-05-13 2022-05-13 交互式录屏方法、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN114979800A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201806A (ja) * 2006-01-26 2007-08-09 Kobe Nomado:Kk 音声付動画データの作成方法
CN105006234A (zh) * 2015-05-27 2015-10-28 腾讯科技（深圳）有限公司 一种k歌处理方法及装置
CN106488301A (zh) * 2015-08-25 2017-03-08 北京新唐思创教育科技有限公司 一种录屏方法和装置及视频播放方法和装置
CN108109652A (zh) * 2017-12-27 2018-06-01 北京酷我科技有限公司 一种k歌合唱录音的方法
CN111583972A (zh) * 2020-05-28 2020-08-25 北京达佳互联信息技术有限公司 歌唱作品生成方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007201806A (ja) * 2006-01-26 2007-08-09 Kobe Nomado:Kk 音声付動画データの作成方法
CN105006234A (zh) * 2015-05-27 2015-10-28 腾讯科技（深圳）有限公司 一种k歌处理方法及装置
CN106488301A (zh) * 2015-08-25 2017-03-08 北京新唐思创教育科技有限公司 一种录屏方法和装置及视频播放方法和装置
CN108109652A (zh) * 2017-12-27 2018-06-01 北京酷我科技有限公司 一种k歌合唱录音的方法
CN111583972A (zh) * 2020-05-28 2020-08-25 北京达佳互联信息技术有限公司 歌唱作品生成方法、装置及电子设备

Similar Documents

Publication Publication Date Title
WO2022152064A1 (zh) 视频生成方法、装置、电子设备和存储介质
CN111625214B (zh) 音频控制方法、装置、设备及存储介质
CN106531201B (zh) 歌曲录制的方法和装置
CN113365134B (zh) 音频分享方法、装置、设备及介质
US20240121468A1 (en) Display method, apparatus, device and storage medium
CN113055624B (zh) 课程回放的方法、服务器、客户端及电子设备
WO2020259130A1 (zh) 精选片段处理方法、装置、电子设备及可读介质
CN111970571B (zh) 视频制作方法、装置、设备及存储介质
CN110930220A (zh) 一种显示方法、装置、终端设备及介质
EP3089042A1 (en) Information-sharing device, information-sharing method, information-sharing program and terminal device
WO2024067157A1 (zh) 生成特效视频的方法、装置、电子设备及存储介质
CN112528051B (zh) 一种演唱作品的发布方法、显示设备及服务器
CN112533056B (zh) 一种显示设备及声音再现方法
WO2023174073A1 (zh) 视频生成方法、装置、设备、存储介质和程序产品
CN114677738A (zh) Mv录制方法、装置、电子设备及计算机可读存储介质
CN114979800A (zh) 交互式录屏方法、电子设备及可读存储介质
KR101489211B1 (ko) 사진을 이용한 동영상 제작 방법 및 그 장치
CN103631576A (zh) 多媒体评注编辑系统与相关的多媒体评注编辑方法和装置
CN103136277A (zh) 多媒体文件播放方法与电子装置
CN111726695A (zh) 显示设备及音频合成方法
CN112017261A (zh) 贴纸生成方法、装置、电子设备及计算机可读存储介质
Costa et al. Internet of Musical Things Environments and Pure Data: A Perfect Match?
CN110708573B (zh) 一种视频发布方法及设备
EP4344230A1 (en) Video generation method, apparatus, and device, storage medium, and program product
CN220528131U (zh) 一种多平台同时直播系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination