CN115379250B - 视频处理方法、装置、计算机设备及存储介质 - Google Patents

视频处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN115379250B
CN115379250B CN202210872071.5A CN202210872071A CN115379250B CN 115379250 B CN115379250 B CN 115379250B CN 202210872071 A CN202210872071 A CN 202210872071A CN 115379250 B CN115379250 B CN 115379250B
Authority
CN
China
Prior art keywords
video stream
scene
target
virtual scene
anchor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210872071.5A
Other languages
English (en)
Other versions
CN115379250A (zh
Inventor
庄宇轩
莫筱羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boguan Information Technology Co Ltd
Original Assignee
Guangzhou Boguan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boguan Information Technology Co Ltd filed Critical Guangzhou Boguan Information Technology Co Ltd
Priority to CN202210872071.5A priority Critical patent/CN115379250B/zh
Publication of CN115379250A publication Critical patent/CN115379250A/zh
Application granted granted Critical
Publication of CN115379250B publication Critical patent/CN115379250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种视频处理方法、装置、计算机设备及存储介质,方法包括:获取目标主播的当前视频流,从当前视频流获取多帧图像帧以得到待处理视频流;对待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向目标直播客户端发送所述场景视频流;接收目标直播客户端返回的虚拟场景调整信息;基于虚拟场景调整信息得到场景视频流对应的调整后场景视频流;获取目标主播的实时视频流,从实时视频流中获取所述目标主播的主播人物图像,并基于主播人物图像和调整后场景视频流得到融合后视频流;向目标主播的观众对应的直播客户端发送融合后视频流;本申请丰富了直播互动方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。

Description

视频处理方法、装置、计算机设备及存储介质
技术领域
本申请涉及直播技术领域,具体涉及一种视频处理方法、装置、计算机设备及存储介质。
背景技术
随着计算机通信技术的不断发展,智能手机、电脑、平板电脑及笔记本电脑等终端的大量普及应用,终端向着多样化、个性化的方向发展,日益成为人们在生活与工作中不可或缺的终端。为了满足人们对精神生活的追求,直播在人们的工作、生活、娱乐中愈发普及,主播可随时随地登录客户端开播、主持直播节目,用户也可以随时打开直播平台观看不同的视频直播。
为了活跃直播间气氛,加强观众与主播的互动,观看端用户通过在直播间的触发操作,可以在直播间触发各种绚丽复杂的特效。在直播平台内现有的互动形式中,通常为用户在直播观看界面的特效互动栏选择目标特效向主播发送,从而在直播观看界面看到主播画面中显示目标特效,然而,这种模式下的直播互动方式较为单调,存在互动方式单一的问题,会导致主播在进行直播时的互动效果较差,导致用户的代入感不强,用户粘性较低。
发明内容
本申请实施例提供一种视频处理方法、装置、计算机设备及存储介质,通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
本申请实施例提供了一种视频处理方法,包括:
当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;
对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;
基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;
获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;
向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
本申请实施例提供了一种视频处理方法,应用于目标客户端,包括:
显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;
当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景;
响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;
向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;
当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
相应的,本申请实施例还提供了一种视频处理装置,该视频处理装置包括:
第一获取单元,用于当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;
第一处理单元,用于对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
第一接收单元,用于接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;
第二处理单元,用于基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;
第二获取单元,用于获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;
第一发送单元,用于向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
在一些实施例中,该视频处理装置包括:
第一获取子单元,用于获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
在一些实施例中,该视频处理装置包括:
第一发送子单元,用于向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
在一些实施例中,该视频处理装置包括:
第二获取子单元,用于获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
第一处理子单元,用于基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
在一些实施例中,该视频处理装置包括:
第二处理子单元,用于根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
在一些实施例中,该视频处理装置包括:
第三获取子单元,用于获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
第三获取子单元,还用于从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
第三处理子单元,用于将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
在一些实施例中,该视频处理装置包括:
第二发送子单元,用于向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
在一些实施例中,该视频处理装置包括:
第三发送子单元,用于当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流。
第三发送子单元,还用于当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
相应的,本申请实施例还提供了一种视频处理装置,应用于目标客户端,该视频处理装置包括:
第一显示单元,用于显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;
第二接收单元,用于当接收到响应于观众发起的互动请求对应的场景视频流时,在所述直播界面上显示所述场景视频流对应的虚拟场景;
响应单元,用于响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;
第二发送单元,用于向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;
第二显示单元,用于当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
在一些实施例中,该视频处理装置包括:
第四获取子单元,用于响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
第一确定子单元,用于基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
第一生成子单元,用于根据所述绘制轨迹生成虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第一响应子单元,用于响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
在一些实施例中,该视频处理装置包括:
第二生成子单元,用于基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第五获取子单元,用于获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
在一些实施例中,该视频处理装置包括:
第二响应子单元,用于响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
第二响应子单元,还用于响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
第二响应子单元,还用于响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
在一些实施例中,该视频处理装置包括:
第三响应子单元,用于响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
第一检测子单元,用于当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第二确定子单元,用于确定所述媒体信息是否为文本信息;
第一显示子单元,用于若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
第四响应子单元,用于响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
在一些实施例中,该视频处理装置包括:
第二检测子单元,用于当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第五响应子单元,用于响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
相应的,本申请实施例还提供一种计算机设备,包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现视频处理方法任一项的步骤。
相应的,本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现视频处理方法任一项的步骤。
本申请实施例提供一种视频处理方法、装置、计算机设备及存储介质,通过当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;然后,对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;接着,接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;之后,基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;接着,获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;最后,向所述目标主播的观众对应的直播客户端发送所述融合后视频流。本申请实施例通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频处理系统的场景示意图。
图2是本申请实施例提供的视频处理方法的一种流程示意图。
图3是本申请实施例提供的视频处理方法的另一种流程示意图。
图4是本申请实施例提供的视频处理方法的一种应用场景示意图。
图5是本申请实施例提供的视频处理方法的另一种应用场景示意图。
图6是本申请实施例提供的视频处理方法的另一种应用场景示意图。
图7是本申请实施例提供的视频处理装置的一种结构示意图。
图8是本申请实施例提供的视频处理装置的另一种结构示意图。
图9是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供一种视频处理方法、装置、计算机设备及存储介质。具体地,本申请实施例的视频处理方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。终端可以同时包括直播客户端和游戏客户端,直播客户端可以是直播应用的主播端、直播应用的观众端、携带有直播程序的浏览器客户端或即时通信客户端等,游戏客户端可以是卡牌游戏客户端。直播客户端和游戏客户端可以分别集成在不同终端上,通过有线/无线进行相互连接。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1,图1为本申请实施例提供的视频处理系统的场景示意图。该系统可以包括至少一个计算机设备,至少一个服务器,以及网络。用户持有的计算机设备可以通过网络连接到直播应用程序的服务器。计算机设备是具有计算硬件的任何设备,该计算硬件能够支持和执行与视频直播对应的软件产品。另外,计算机设备具有用于感测和获得用户通过在一个或者多个触控显示屏的多个点执行的触摸或者滑动操作的输入的一个或者多个多触敏屏幕。另外,当系统包括多个计算机设备、多个服务器、多个网络时,不同的计算机设备及可以通过不同的网络、通过不同的服务器相互连接。网络可以是无线网络或者有线网络,比如无线网络为无线局域网(WLAN)、局域网(LAN)、蜂窝网络、3G网络、4G网络、5G网络等。另外,不同的计算机设备之间也可以使用自身的蓝牙网络或者热点网络连接到其他终端或者连接到服务器等。例如,多个用户可以通过不同的计算机设备在线从而通过适当网络连接并且相互同步。
例如,当终端设备存储有直播应用程序时,且直播应用程序对应的直播客户端与主播客户端互相连接,终端用于呈现目标主播的直播画面。终端设备用于通过图形用户界面与用户进行交互,例如通过终端设备下载安装直播应用程序并运行。该终端设备将图形用户界面提供给用户的方式可以包括多种,例如,可以渲染显示在终端设备的显示屏上,或者,通过全息投影呈现图形用户界面。例如,终端设备可以包括触控显示屏和处理器,该触控显示屏用于呈现图形用户界面以及接收用户作用于图形用户界面产生的操作指令,该图形用户界面包括直播画面,该处理器用于运行该直播应用程序、生成图形用户界面、响应操作指令以及控制图形用户界面在触控显示屏上的显示。
需要说明的是,图1所示的视频处理系统的场景示意图仅仅是一个示例,本申请实施例描述的视频处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着视频处理系统的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于上述问题,本申请实施例提供一种视频处理方法、装置、计算机设备及存储介质,可以提高主播进行直播时与观众进行互动的多样性。以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例提供一种视频处理方法,该方法可以由终端或服务器执行,本申请实施例以视频处理方法由直播客户端执行为例来进行说明。
请参阅图2,图2为本申请实施例提供的一种视频处理方法的流程示意图,以该视频处理方法应用于用户客户端为例。该视频处理方法的具体流程可以如下步骤101至步骤106:
101,当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景。
其中,虚拟场景是直播对应的应用程序在终端上运行时显示(或提供)的虚拟环境。该虚拟环境可以是对真实世界的仿真环境,也可以是半仿真半虚构的三维环境,还可以是纯虚构的三维环境。该虚拟环境用于为主播提供直播背景,在该虚拟环境中具有可供用户调整的虚拟元素。
具体的,目标直播客户端对应的观众可以为直播平台内的高价值用户,也可以为在目标主播的直播间共享值较高的用户,还可以为目标主播在观众列表显示的候选用户中选中的用户。
为了获取虚拟场景对应的视频流,步骤“所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流”,方法可以包括:
获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
例如,目标主播的当前视频流为每秒钟输出60帧,对输出的60帧视频流进行抽帧处理,也即在第1帧、第2帧、第3帧、第4帧、第5帧、第6帧…第60帧中,抽取第3帧、第6帧…第60帧等20帧不向用户展示。
进一步的,在步骤“获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流”之后,方法可以包括:
向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
可选的,步骤“所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流”,方法可以包括:
获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
为了控制输出的视频流的播放帧数,在步骤“接收到目标直播客户端发送的互动请求”之前,还包括:
根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
例如,主播客户端需要进行播放的视频流为每秒钟显示100帧,为了维持主播端输出视频流的播放稳定性,可以对主播当前的视频流进行锁帧处理,也即固定每秒钟显示60帧。
其中,观众的直播客户端可以通过直播服务器与目标主播的主播客户端相互关联。直播客户端可以通过直播服务器与主播客户端建立信息传输通道,从而实现直播客户端实时获取主播客户端的场景视频流,以及主播客户端基于用户调整虚拟场景后得到场景调整信息以及目标主播当前的直播画面,生成推流给直播间观众的融合后视频流。
102,对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流。
例如,目标主播的当前视频流为每秒钟输出60帧,对输出的60帧视频流进行抽帧处理,也即在第1帧、第2帧、第3帧、第4帧、第5帧、第6帧…第60帧中,抽取第3帧、第6帧…第60帧等20帧不向用户展示,并移除上述视频帧中的主播人物图像生成虚拟场景副本,只向观众展示剩下的40帧。并且,由于视频流播放24帧时即可流畅播放,在目标主播的当前视频流中抽出的20帧视频,不会对视频流畅度有影响。
103,接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到。
具体的,虚拟场景调整信息可以是目标直播客户端的观众对所述场景视频流的场景调整操作得到的场景调整数据,也可以是目标直播客户端的观众对所述场景视频流的场景调整操作得到的场景调整数据对场景视频流进行调整得到的目标场景视频流,并将该目标场景视频流作为虚拟场景调整信息。
104,基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流。
具体的,在接收到目标直播客户端返回的虚拟场景调整信息后,若虚拟场景调整信息为场景调整数据,则基于场景调整数据对场景视频流进行调整,得到所述场景视频流对应的调整后场景视频流。若虚拟场景调整信息为目标场景视频流,则将该目标场景视频流作为调整后场景视频流。
105,获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流。
为了能够实施播放具有主播人物图像以及场景特效的视频流,步骤“所述获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流”,方法可以包括:
获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
在一具体实施例中,在步骤“向所述目标主播的观众对应的直播客户端发送所述融合后视频流”之前,还包括:
向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
进一步的,在步骤“向所述目标主播的观众对应的直播客户端发送融合视频接收请求”之后,还包括:
当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流。
当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
106,向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
其中,可以向所述目标主播的所有观众对应的直播客户端发送所述融合后视频流,也可以向确定接收融合后视频流的观众对应的直播客户端发送所述融合后视频流。
根据上述介绍的内容,下面将举例来进一步说明本申请的视频处理方法。下方为本申请实施例提供的一种视频处理方法的流程示意图,该视频处理方法的具体流程可以如下所示:
计算机设备可以根据预设帧数对目标主播的所有视频流进行锁帧处理,例如设置预设帧数为每秒钟固定显示60帧。然后,获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流,对输出的60帧视频流进行抽帧处理,也即在第1帧、第2帧、第3帧、第4帧、第5帧、第6帧…第60帧中,抽取第3帧、第6帧…第60帧等20帧不向用户展示,并移除上述视频帧中的主播人物图像生成场景视频流作为虚拟场景副本,并只向所有用户展示剩下的40帧。接着,将20帧场景视频流输出目标观众对应的目标直播客户端,目标观众对应的目标直播客户端在接收到场景视频流后,可以在该场景视频流中进行修改得到虚拟场景调整信息后,并将虚拟场景调整信息传回目标主播的主播端。目标主播的主播端可以根据接收到的虚拟场景调整信息对主播端的场景视频流进行对应调整,得到调整后的场景视频流,并叠加当前主播实时视频流的主播人物图像,得到融合后视频流。目标主播的所有观众在播放实时视频流中的40帧视频帧后,紧接着播放20帧融合后视频流。
请参阅图3,图3为本申请实施例提供的另一种视频处理方法的流程示意图,该方法应用于主播客户端。该视频处理方法的具体流程可以如下步骤201至步骤205:
201,显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景。
其中,虚拟场景是直播对应的应用程序在终端上运行时显示(或提供)的虚拟环境。该虚拟环境可以是对真实世界的仿真环境,也可以是半仿真半虚构的三维环境,还可以是纯虚构的三维环境。该虚拟环境用于为主播提供直播背景,在该虚拟环境中具有可供用户调整的虚拟元素。
202,当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景。
为了获取观众对虚拟场景的场景调整操作对应的虚拟场景调整信息,在步骤“播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景”之后,方法可以包括:
响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
具体的,该目标编辑窗口可以获取场景调整操作在当前直播界面的触控操作的具体位置数据。
203,响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息。
在一实施例中,所述虚拟场景中设置有绘制区域,在目标编辑窗口中也设置有与绘制区域位置对应的目标绘制区域。步骤“所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息”,方法可以包括:
响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
根据所述绘制轨迹生成虚拟场景调整信息。
例如,如图4所示,可以响应于在目标绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数,基于所述绘制参数确定所述用户绘制操作在所述目标绘制区域中的绘制轨迹,并获取绘制轨迹作为场景调整信息。接着,可以向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流,或者在主播客户端触发基于虚拟场景调整信息以及场景视频流生成调整后场景视频流,基于调整后场景视频流以及从实时视频流中获取目标主播的主播人物图像生成融合后视频流,以在所述直播界面上显示所述融合后视频流对应的直播画面。
为了在虚拟场景中绘制特效,在步骤“响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数”之前,还包括:
响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
所述根据所述绘制轨迹生成虚拟场景调整信息,包括:
基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
例如,请参阅图5,本申请实施例可以根据绘制轨迹、所述特效信息(例如云朵特效)以及所述虚拟场景生成特效画面,并将所述特效画面作为场景调整信息,接着,可以向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流,或者在主播客户端触发基于虚拟场景调整信息以及场景视频流生成调整后场景视频流,基于调整后场景视频流以及从实时视频流中获取目标主播的主播人物图像生成融合后视频流,以在所述直播界面上显示所述融合后视频流对应的直播画面。
可选的,步骤“所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息”,方法可以包括:
获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
进一步的,所述虚拟场景中显示有特效设置控件。步骤“所述获取针对所述虚拟场景的特效触发规则的设置操作”,方法可以包括:
响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
例如,如图6所示,目标人物信息为比心动作,目标场景特效为爱心特效,将比心动作与爱心特效进行关联操作,以生成特效触发规则。当主播客户端检测到目标主播做出比心动作时,为了在场景视频流中显示爱心特效,基于目标场景特效以及从实时视频流中获取目标主播的主播人物图像生成融合后视频流,以在所述直播界面上显示所述融合后视频流对应的直播画面。
可选的,所述虚拟场景中显示有信息显示区域和信息输入控件。步骤“所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息”,包括:
响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
其中,媒体信息可以包括文本信息、语音信息和/或图像信息。计算机设备可以通过信息输入控件获取通过信息输入控件输入的文本信息、语音信息和/或图像信息。
需要说明的是,媒体信息为文本信息时,可以将文本信息直接作为场景调整信息。而对于媒体信息为语音信息、图像信息和/或视频信息,可以将对应的媒体信息进行处理,以转换为文本信息。
当媒体信息为图像信息时,终端可以利用图像识别技术识别图片中的文字,或者识别图片所表达的语义,并利用所述语义识别技术对其语义进行进一步识别。确定与图像信息对应的文本信息,并将与图像信息对应的文本信息作为场景调整信息以进行后续的操作,也可以直接将图像作为场景调整信息。
当目标内容为语音信息时,可利用语音识别技术将语音转成文本内容,并利用语义识别技术对该文本内容的语义进行识别,从而得到与语音信息对应的文本信息,并将与语音信息对应的文本信息作为场景调整信息以进行后续的操作。
在一具体实施例中,在步骤“响应于所述信息输入控件的用户输入操作”之后,方法可以包括:
确定所述媒体信息是否为文本信息;
若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
所述当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息,包括:
当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
例如,计算机设备可以获取用户通过在直播界面上的信息输入控件输入文本信息,例如文本信息为“我支持主播”,获取目标字体类型的字体信息,在所述虚拟场景上显示多个候选字体类型,例如楷体、宋体、黑体等候选字体类型,响应于对楷体的确定操作,获取楷体的字体信息,当检测到针对文本信息的输入确定操作时,基于文本信息“我支持主播”和楷体的字体信息,生成楷体类型的文本信息作为场景调整信息。
204,向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流。
其中,观众的直播客户端可以通过直播服务器与目标主播的主播客户端相互关联。直播客户端可以通过直播服务器与主播客户端建立信息传输通道,从而实现直播客户端实时获取主播客户端的场景视频流,以及主播客户端接收通过信息传输通道发送的虚拟场景调整信息,主播客户端基于所述虚拟场景调整信息生成融合后视频流,并向直播间所有观众推送融合后视频流。
205,当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
根据上述介绍的内容,下面将举例来进一步说明本申请的视频处理方法。下方为本申请实施例提供的一种视频处理方法的流程示意图,以目标用户的直播客户端、直播服务器和目标主播的主播客户端之间的交互为例,该视频处理方法的具体流程可以如下所示:
(1)目标主播在主播客户端创建虚拟开播的直播画面。具体的,主播客户端可以获取目标信息,该目标信息可以包括目标主播设置的虚拟场景标识、当前直播间内开启互动模式的用户信息以及目标主播的相关信息。主播客户端将目标信息发送至直播服务器。直播服务器在接收到上述数据后,通过解析虚拟场景标识,获取虚拟场景标识对应的虚拟场景信息,并将虚拟场景信息发送至主播客户端的渲染引擎,以使主播客户端的渲染引擎获取虚拟场景的虚拟元素、材质以及特效等数据。然后,主播客户端对当前视频流进行锁帧处理,例如固定每秒钟传输60帧直播画面。在进行锁帧完成后,对于空闲出来的剩余帧,可以用于创建一个可供用户客户端实时交互的虚拟场景副本。具体的,对原有的虚拟场景进行复制,并移除主播人物面片的展示;并且,在每一秒内对输出的视频流进行插帧处理,即每播放一帧直播画面输出至用户客户端,后一帧执行一帧虚拟场景副本的渲染,该虚拟场景副本的渲染不面向用户客户端展示。在虚拟场景副本创建完成后,通过解析直播间内用户标识,确定可以参与交互模式的用户,并向可以参与交互的用户推送虚拟场景副本的视频流数据,对于在直播间观看的其他用户,推送原有的正常直播的视频流画面,其中,针对虚拟场景副本设置有三种虚拟场景调整方式。
(2)在用户客户端,由直播服务端下发交互模式入口权限,拥有互动模式权限的高价值的目标用户可以在其直播观看界面上看到互动模式的模式入口,其他普通用户没有权限看到。目标用户可以触发模式入口,当直播客户端接收到触发指令后,基于该触发指令生成触发请求并发送至直播服务器;直播服务器将主播客户端的渲染引擎生成的虚拟场景副本和虚拟场景调整方式发送至用户客户端。用户客户端接受虚拟场景副本和虚拟场景调整方式后,可以在目标用户的直播观看界面显示虚拟场景副本以及虚拟场景调整方式,用户可以选中目标虚拟场景调整方式对虚拟场景进行调整,并生成场景调整信息,发送至直播服务器。
(3)直播服务器在接收场景调整信息后,向主播客户端发送该场景调整信息,该主播客户端可以基于虚拟场景调整信息、虚拟场景以及目标主播当前的待显示直播画面,生成推流给直播观众的目标直播画面。主播客户端向各直播观众的直播客户端发送该目标直播画面,以在直播客户端的直播观看界面上显示目标直播画面。
综上所述,本申请实施例提供一种视频处理方法,通过当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;然后,对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;接着,接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;之后,基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;接着,获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;最后,向所述目标主播的观众对应的直播客户端发送所述融合后视频流。本申请实施例通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
为便于更好的实施本申请实施例提供的视频处理方法,本申请实施例还提供一种基于上述视频处理方法的视频处理装置。其中名词的含义与上述视频处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图7,图7为本申请实施例提供的一种视频处理装置的结构示意图,该视频处理装置包括:
第一获取单元301,用于当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;
第一处理单元302,用于对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
第一接收单元303,用于接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;
第二处理单元304,用于基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;
第二获取单元305,用于获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;
第一发送单元306,用于向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
在一些实施例中,该视频处理装置包括:
第一获取子单元,用于获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
在一些实施例中,该视频处理装置包括:
第一发送子单元,用于向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
在一些实施例中,该视频处理装置包括:
第二获取子单元,用于获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
第一处理子单元,用于基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
在一些实施例中,该视频处理装置包括:
第二处理子单元,用于根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
在一些实施例中,该视频处理装置包括:
第三获取子单元,用于获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
第三获取子单元,还用于从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
第三处理子单元,用于将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
在一些实施例中,该视频处理装置包括:
第二发送子单元,用于向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
在一些实施例中,该视频处理装置包括:
第三发送子单元,用于当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流。
第三发送子单元,还用于当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
相应的,本申请实施例还提供了一种视频处理装置,应用于目标客户端,请参阅图8,该视频处理装置包括:
第一显示单元401,用于显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;
第二接收单元402,用于当接收到响应于观众发起的互动请求对应的场景视频流时,在所述直播界面上显示所述场景视频流对应的虚拟场景;
响应单元403,用于响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;
第二发送单元404,用于向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;
第二显示单元405,用于当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
在一些实施例中,该视频处理装置包括:
第四获取子单元,用于响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
第一确定子单元,用于基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
第一生成子单元,用于根据所述绘制轨迹生成虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第一响应子单元,用于响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
在一些实施例中,该视频处理装置包括:
第二生成子单元,用于基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第五获取子单元,用于获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
在一些实施例中,该视频处理装置包括:
第二响应子单元,用于响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
第二响应子单元,还用于响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
第二响应子单元,还用于响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
在一些实施例中,该视频处理装置包括:
第三响应子单元,用于响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
第一检测子单元,用于当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第二确定子单元,用于确定所述媒体信息是否为文本信息;
第一显示子单元,用于若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
第四响应子单元,用于响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
在一些实施例中,该视频处理装置包括:
第二检测子单元,用于当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
在一些实施例中,该视频处理装置包括:
第五响应子单元,用于响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
本申请实施例公开了一种视频处理装置,通过第一显示单元401显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;第二接收单元402当接收到响应于观众发起的互动请求对应的场景视频流时,在所述直播界面上显示所述场景视频流对应的虚拟场景;响应单元403响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;第二发送单元404向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;第二显示单元405当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。本申请实施例通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
相应的,本申请实施例还提供一种计算机设备,该计算机设备可以为终端或者服务器,该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC,Personal Computer)、个人数字助理(Personal Digital Assistant,PDA)等终端设备。如图9所示,图9为本申请实施例提供的计算机设备的结构示意图。该计算机设备500包括有一个或者一个以上处理核心的处理器501、有一个或一个以上计算机可读存储介质的存储器502及存储在存储器502上并可在处理器上运行的计算机程序。其中,处理器501与存储器502电性连接。本领域技术人员可以理解,图中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
处理器501是计算机设备500的控制中心,利用各种接口和线路连接整个计算机设备500的各个部分,通过运行或加载存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行计算机设备500的各种功能和处理数据,从而对计算机设备500进行整体监控。
在本申请实施例中,计算机设备500中的处理器501会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器502中,并由处理器501来运行存储在存储器502中的应用程序,从而实现各种功能:
当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;
对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;
基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;
获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;
向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
在一实施例中,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
在一实施例中,在获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流之后,还包括:
向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
在一实施例中,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
在一实施例中,在接收到目标直播客户端发送的互动请求之前,还包括:
根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
在一实施例中,所述获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流,包括:
获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
在一实施例中,在向所述目标主播的观众对应的直播客户端发送所述融合后视频流之前,还包括:
向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
在一实施例中,在向所述目标主播的观众对应的直播客户端发送融合视频接收请求之后,还包括:
当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流。
当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
本申请实施例还提供一种视频处理方法,应用于目标客户端,包括:
显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;
当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景;
响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;
向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;
当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
在一实施例中,所述虚拟场景中设置有绘制区域;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
根据所述绘制轨迹生成虚拟场景调整信息。
在一实施例中,在响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数之前,还包括:
响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
所述根据所述绘制轨迹生成虚拟场景调整信息,包括:
基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
在一实施例中,所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
在一实施例中,所述虚拟场景中显示有特效设置控件;
所述获取针对所述虚拟场景的特效触发规则的设置操作,包括:
响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
在一实施例中,所述虚拟场景中显示有信息显示区域和信息输入控件;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
在一实施例中,在响应于所述信息输入控件的用户输入操作之后,还包括:
确定所述媒体信息是否为文本信息;
若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
所述当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息,包括:
当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
在一实施例中,在播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景之后,还包括:
响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
可选的,如图9所示,计算机设备500还包括:触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507。其中,处理器501分别与触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507电性连接。本领域技术人员可以理解,图9中示出的计算机设备结构并不构成对计算机设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
触控显示屏503可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏503可以包括显示面板和触控面板。其中,显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并生成相应的操作指令,且操作指令执行对应程序。可选的,触控面板可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器501,并能接收处理器501发来的命令并加以执行。触控面板可覆盖显示面板,当触控面板检测到在其上或附近的触摸操作后,传送给处理器501以确定触摸事件的类型,随后处理器501根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中,可以将触控面板与显示面板集成到触控显示屏503而实现输入和输出功能。但是在某些实施例中,触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏503也可以作为输入单元506的一部分实现输入功能。
射频电路504可用于收发射频信号,以通过无线通信与网络设备或其他计算机设备建立无线通讯,与网络设备或其他计算机设备之间收发信号。
音频电路505可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路505可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路505接收后转换为音频数据,再将音频数据输出处理器501处理后,经射频电路504以发送给比如另一计算机设备,或者将音频数据输出至存储器502以便进一步处理。音频电路505还可能包括耳塞插孔,以提供外设耳机与计算机设备的通信。
输入单元506可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源507用于给计算机设备500的各个部件供电。可选的,电源507可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图9中未示出,计算机设备500还可以包括摄像头、传感器、无线保真模块、蓝牙模块等,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
由上可知,本实施例提供的计算机设备,可以通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条计算机程序,该计算机程序能够被处理器进行加载,以执行本申请实施例所提供的任一种视频处理方法中的步骤。例如,该计算机程序可以执行如下步骤:
当接收到目标直播客户端发送的互动请求时,获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景;
对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的场景调整操作得到;
基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流;
获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流;
向所述目标主播的观众对应的直播客户端发送所述融合后视频流。
在一实施例中,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
在一实施例中,在获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流之后,还包括:
向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
在一实施例中,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
在一实施例中,在接收到目标直播客户端发送的互动请求之前,还包括:
根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
在一实施例中,所述获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流,包括:
获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
在一实施例中,在向所述目标主播的观众对应的直播客户端发送所述融合后视频流之前,还包括:
向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
在一实施例中,在向所述目标主播的观众对应的直播客户端发送融合视频接收请求之后,还包括:
当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流。
当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
本申请实施例还提供一种视频处理方法,应用于目标客户端,包括:
显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景;
当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景;
响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息;
向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流;
当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示所述融合后视频流对应的直播画面。
在一实施例中,所述虚拟场景中设置有绘制区域;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
根据所述绘制轨迹生成虚拟场景调整信息。
在一实施例中,在响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数之前,还包括:
响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
所述根据所述绘制轨迹生成虚拟场景调整信息,包括:
基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
在一实施例中,所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
在一实施例中,所述虚拟场景中显示有特效设置控件;
所述获取针对所述虚拟场景的特效触发规则的设置操作,包括:
响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
在一实施例中,所述虚拟场景中显示有信息显示区域和信息输入控件;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
在一实施例中,在响应于所述信息输入控件的用户输入操作之后,还包括:
确定所述媒体信息是否为文本信息;
若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
所述当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息,包括:
当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
在一实施例中,在播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景之后,还包括:
响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的计算机程序,可以通过用户对目标主播的直播画面中的虚拟背景进行调整,以在直播观众的直播观看界面展示调整后的虚拟场景与目标主播当前的直播画面合并得到的目标直播画面,从而丰富了直播互动的方式,提升用户在直播间内互动时的沉浸感,提高用户粘性。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种视频处理方法、装置、计算机设备及存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想;本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (20)

1.一种视频处理方法,其特征在于,包括:
当接收到目标直播客户端发送的互动请求时,根据预设帧数对目标主播的所有视频流进行锁帧处理得到当前视频流,并获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,以得到待处理视频流和处理后的当前视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景,所述虚拟场景中设置有绘制区域,所述处理后的当前视频流用于推流至所述目标主播的观众对应的直播客户端;
对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的虚拟场景进行调整操作得到,所述虚拟场景调整信息包括:所述观众在所述虚拟场景的绘制区域中产生的用户绘制操作对应的绘制轨迹,或者所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;
基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流,其中,所述调整后场景视频流为所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;所述调整后的场景视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流,其中,所述融合后视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
向所述目标主播的观众对应的直播客户端发送所述融合后视频流,以在所述直播客户端播放所述实时视频流后,继续播放所述融合后视频流。
2.根据权利要求1所述的视频处理方法,其特征在于,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流。
3.根据权利要求2所述的视频处理方法,其特征在于,在获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,从所述当前视频流获取多帧不连续的图像帧,以得到待处理视频流和处理后的当前视频流之后,还包括:
向所述目标主播的其他观众对应的直播客户端发送所述处理后的当前视频流,其中,所述其他观众为除了所述目标直播客户端的观众之外的所有观众。
4.根据权利要求1所述的视频处理方法,其特征在于,所述获取目标主播的当前视频流,从所述当前视频流获取多帧图像帧以得到待处理视频流,包括:
获取目标主播的当前视频流,根据预设规则从所述当前视频流中确定多帧不连续的图像帧;
基于所述多帧不连续的图像帧进行复制处理,以得到待处理视频流。
5.根据权利要求1所述的视频处理方法,其特征在于,在接收到目标直播客户端发送的互动请求之前,还包括:
根据预设帧数对目标主播的所有视频流进行锁帧处理,以使目标主播的所有视频流的显示帧数为所述预设帧数。
6.根据权利要求1所述的视频处理方法,其特征在于,所述获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流,包括:
获取所述目标主播的实时视频流,对所述实时视频流进行抽帧处理,从所述实时视频流获取多帧不连续的图像帧,以得到待提取人物视频流和处理后的实时视频流;
从所述待提取人物视频流的每一图像帧中获取所述目标主播的主播人物图像;
将每一图像帧中获取所述目标主播的主播人物图像分别与所述调整后场景视频流中的每一图像帧进行融合处理,得到融合后视频流。
7.根据权利要求6所述的视频处理方法,其特征在于,在向所述目标主播的观众对应的直播客户端发送所述融合后视频流之前,还包括:
向所述目标主播的观众对应的直播客户端发送融合视频接收请求,以使所述目标主播的观众对应的直播客户端基于所述融合视频接收请求返回确定接收请求或拒接接收请求。
8.根据权利要求7所述的视频处理方法,其特征在于,在向所述目标主播的观众对应的直播客户端发送融合视频接收请求之后,还包括:
当接收到所述目标主播的观众对应的直播客户端返回的确定接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流以及所述融合后视频流;
当接收到所述目标主播的观众对应的直播客户端返回的拒接接收请求时,向所述目标主播的观众对应的直播客户端发送所述处理后的实时视频流。
9.一种视频处理方法,其特征在于,应用于目标客户端,包括:
显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景,所述虚拟场景中设置有绘制区域;
当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景,其中,所述场景视频流为对待处理视频流中每一视频帧进行主播人物图像移除处理得到的,所述待处理视频流为根据预设帧数对目标主播的所有视频流进行锁帧处理得到当前视频流后,对所述当前视频流进行抽帧处理得到的;
响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,其中,所述虚拟场景调整信息基于目标直播客户端的观众对所述场景视频流的虚拟场景进行调整操作得到,所述虚拟场景调整信息包括:所述观众在所述虚拟场景的绘制区域中产生的用户绘制操作对应的绘制轨迹,或者所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;
向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流,其中,所述融合后视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示实时视频流的直播画面后,继续显示所述融合后视频流对应的直播画面。
10.根据权利要求9所述的视频处理方法,其特征在于,所述虚拟场景中设置有绘制区域;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数;
基于所述绘制参数确定所述用户绘制操作在所述绘制区域中的绘制轨迹;
根据所述绘制轨迹生成虚拟场景调整信息。
11.根据权利要求10所述的视频处理方法,其特征在于,在响应于在所述绘制区域的用户绘制操作,获取所述用户绘制操作的绘制参数之前,还包括:
响应于特效选择操作,从多个候选绘制特效中确定目标绘制特效,获取所述目标绘制特效的特效信息;
所述根据所述绘制轨迹生成虚拟场景调整信息,包括:
基于所述绘制轨迹和所述特效信息生成虚拟场景调整信息。
12.根据权利要求9所述的视频处理方法,其特征在于,所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
获取针对所述虚拟场景的特效触发规则的设置操作,将所述特效触发规则作为所述虚拟场景调整信息,其中,所述特效触发规则包括目标特效类型以及在所述主播客户端触发所述目标特效的触发条件。
13.根据权利要求12所述的视频处理方法,其特征在于,所述虚拟场景中显示有特效设置控件;
所述获取针对所述虚拟场景的特效触发规则的设置操作,包括:
响应于针对所述特效设置控件的触发操作,在所述虚拟场景上显示多个候选人物信息,其中,所述人物信息包括肢体动作和声音信息;
响应于针对所述候选人物信息中目标人物信息的选择操作,在所述虚拟场景上显示多个候选场景特效;
响应于针对所述候选场景特效中目标场景特效的选择操作,将所述目标人物信息与所述目标场景特效进行关联操作,以生成特效触发规则。
14.根据权利要求9所述的视频处理方法,其特征在于,所述虚拟场景中显示有信息显示区域和信息输入控件;
所述响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,包括:
响应于所述信息输入控件的用户输入操作,获取通过所述信息输入控件输入的媒体信息;
当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息。
15.根据权利要求14所述的视频处理方法,其特征在于,在响应于所述信息输入控件的用户输入操作之后,还包括:
确定所述媒体信息是否为文本信息;
若所述媒体信息为文本信息,则在所述虚拟场景上显示多个候选字体类型;
响应于对所述候选字体类型中目标字体类型的确定操作,获取目标字体类型的字体信息;
所述当检测到所述媒体信息的输入确定操作时,基于所述媒体信息得到所述虚拟场景调整信息,包括:
当检测到所述文本信息的输入确定操作时,基于所述文本信息和所述字体信息得到虚拟场景调整信息。
16.根据权利要求9至15任一项所述的视频处理方法,其特征在于,在播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景之后,还包括:
响应于编辑窗口生成指令在所述直播界面生成目标编辑窗口,其中,所述目标编辑窗口的显示优先级高于所述场景视频流,所述目标编辑窗口用于获取所述观众对所述虚拟场景的场景调整操作对应的虚拟场景调整信息。
17.一种视频处理装置,其特征在于,包括:
第一获取单元,用于当接收到目标直播客户端发送的互动请求时,根据预设帧数对目标主播的所有视频流进行锁帧处理得到当前视频流,并获取目标主播的当前视频流,对所述当前视频流进行抽帧处理,以得到待处理视频流和处理后的当前视频流,其中,所述当前视频流中所述目标主播的直播背景为虚拟场景,所述虚拟场景中设置有绘制区域,所述处理后的当前视频流用于推流至所述目标主播的观众对应的直播客户端;
第一处理单元,用于对所述待处理视频流中每一视频帧进行主播人物图像移除处理,得到场景视频流,向所述目标直播客户端发送所述场景视频流;
第一接收单元,用于接收所述目标直播客户端返回的虚拟场景调整信息,其中,所述虚拟场景调整信息基于所述目标直播客户端的观众对所述场景视频流的虚拟场景进行调整操作得到,所述虚拟场景调整信息包括:所述观众在所述虚拟场景的绘制区域中产生的用户绘制操作对应的绘制轨迹,或者所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;
第二处理单元,用于基于所述虚拟场景调整信息得到所述场景视频流对应的调整后场景视频流,其中,所述调整后场景视频流为所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;所述调整后的场景视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
第二获取单元,用于获取所述目标主播的实时视频流,从所述实时视频流中获取所述目标主播的主播人物图像,并基于所述主播人物图像和所述调整后场景视频流进行融合处理,得到融合后视频流,其中,所述融合后视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
第一发送单元,用于向所述目标主播的观众对应的直播客户端发送所述融合后视频流,以在所述直播客户端播放所述实时视频流后,继续播放所述融合后视频流。
18.一种视频处理装置,其特征在于,应用于目标客户端,包括:
第一显示单元,用于显示直播界面,其中,所述直播界面用于播放目标主播的主播客户端发送视频流对应的直播画面,所述直播画面中所述目标主播的直播背景为虚拟场景,所述虚拟场景中设置有绘制区域;
第二接收单元,用于当接收到响应于观众发起的互动请求对应的场景视频流时,播放所述场景视频流,以在所述直播界面上显示所述场景视频流对应的虚拟场景,其中,所述场景视频流为对待处理视频流中每一视频帧进行主播人物图像移除处理得到的,所述待处理视频流为根据预设帧数对目标主播的所有视频流进行锁帧处理得到当前视频流后,对所述当前视频流进行抽帧处理得到的;
响应单元,用于响应于所述观众对所述虚拟场景的场景调整操作,获取基于所述虚拟场景调整操作对应的虚拟场景调整信息,其中,所述虚拟场景调整信息基于目标直播客户端的观众对所述场景视频流的虚拟场景进行调整操作得到,所述虚拟场景调整信息包括:所述观众在所述虚拟场景的绘制区域中产生的用户绘制操作对应的绘制轨迹,或者所述观众对所述场景视频流的虚拟场景进行调整操作得到的场景调整数据,对所述场景视频流进行调整得到的目标场景视频流;
第二发送单元,用于向所述目标主播对应的主播客户端发送所述虚拟场景调整信息,以使所述主播客户端基于所述虚拟场景调整信息生成融合后视频流,其中,所述融合后视频流中虚拟场景的绘制区域内、显示有所述绘制轨迹;
第二显示单元,用于当接收到所述主播客户端发送的融合后视频流后,在所述直播界面上显示实时视频流的直播画面后,继续显示所述融合后视频流对应的直播画面。
19.一种计算机设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1至16任一项所述的视频处理方法中的步骤。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如权利要求1至16任一项所述的视频处理方法中的步骤。
CN202210872071.5A 2022-07-22 2022-07-22 视频处理方法、装置、计算机设备及存储介质 Active CN115379250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210872071.5A CN115379250B (zh) 2022-07-22 2022-07-22 视频处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210872071.5A CN115379250B (zh) 2022-07-22 2022-07-22 视频处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN115379250A CN115379250A (zh) 2022-11-22
CN115379250B true CN115379250B (zh) 2024-06-11

Family

ID=84061493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210872071.5A Active CN115379250B (zh) 2022-07-22 2022-07-22 视频处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN115379250B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187930A (zh) * 2015-09-18 2015-12-23 广州酷狗计算机科技有限公司 基于视频直播的互动方法及装置
CN107347125A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网(深圳)信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN107888845A (zh) * 2017-11-14 2018-04-06 腾讯数码(天津)有限公司 一种视频图像处理方法、装置及终端
CN110536151A (zh) * 2019-09-11 2019-12-03 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN112383793A (zh) * 2020-11-12 2021-02-19 咪咕视讯科技有限公司 画面的合成方法、装置、电子设备及存储介质
CN114449355A (zh) * 2022-01-24 2022-05-06 腾讯科技(深圳)有限公司 一种直播互动的方法、装置、设备及存储介质
WO2022119119A1 (ko) * 2020-12-02 2022-06-09 주식회사 픽스트리 멀티채널 미디어 송수신 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187930A (zh) * 2015-09-18 2015-12-23 广州酷狗计算机科技有限公司 基于视频直播的互动方法及装置
CN107347125A (zh) * 2016-08-19 2017-11-14 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
CN107801083A (zh) * 2016-09-06 2018-03-13 星播网(深圳)信息有限公司 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN107888845A (zh) * 2017-11-14 2018-04-06 腾讯数码(天津)有限公司 一种视频图像处理方法、装置及终端
CN110536151A (zh) * 2019-09-11 2019-12-03 广州华多网络科技有限公司 虚拟礼物特效的合成方法和装置、直播系统
CN112383793A (zh) * 2020-11-12 2021-02-19 咪咕视讯科技有限公司 画面的合成方法、装置、电子设备及存储介质
WO2022119119A1 (ko) * 2020-12-02 2022-06-09 주식회사 픽스트리 멀티채널 미디어 송수신 방법 및 시스템
CN114449355A (zh) * 2022-01-24 2022-05-06 腾讯科技(深圳)有限公司 一种直播互动的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115379250A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112351302B (zh) 基于云游戏的直播交互方法、装置及存储介质
CN113395533B (zh) 虚拟礼物特效显示方法、装置、计算机设备及存储介质
CN111596985A (zh) 多媒体会议场景下的界面显示方法、装置、终端及介质
CN113485617B (zh) 动画展示方法、装置、电子设备及存储介质
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
CN112533037B (zh) 连麦合唱作品的生成方法和显示设备
CN113411656B (zh) 信息处理方法、装置、计算机设备及存储介质
CN112516589A (zh) 直播中游戏商品互动方法、装置、计算机设备及存储介质
CN114245221B (zh) 基于直播间的互动方法、装置、电子设备及存储介质
WO2022257367A1 (zh) 视频播放方法以及电子设备
CN114430494B (zh) 界面显示方法、装置、设备及存储介质
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
CN113660503A (zh) 同屏互动控制方法及装置、电子设备、存储介质
CN113645476B (zh) 画面处理方法、装置、电子设备及存储介质
CN114095793A (zh) 一种视频播放方法、装置、计算机设备及存储介质
CN109819341B (zh) 视频播放方法、装置、计算设备及存储介质
CN116437155A (zh) 一种直播互动方法、装置、计算机设备和存储介质
CN115379250B (zh) 视频处理方法、装置、计算机设备及存储介质
CN115225971A (zh) 一种视频进度的调节方法、装置、计算机设备及存储介质
WO2021031940A1 (zh) 放映厅业务管理方法、互动方法、显示设备及移动终端
CN112533023B (zh) 连麦合唱作品的生成方法和显示设备
CN113938633B (zh) 一种视频通话处理方法及显示设备
WO2020248682A1 (zh) 一种显示设备及虚拟场景生成方法
CN113360034A (zh) 画面显示方法、装置、计算机设备及存储介质
CN112261482A (zh) 互动视频的播放方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant