CN113473207A - 直播方法、装置、存储介质及电子设备 - Google Patents

直播方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN113473207A
CN113473207A CN202110751297.5A CN202110751297A CN113473207A CN 113473207 A CN113473207 A CN 113473207A CN 202110751297 A CN202110751297 A CN 202110751297A CN 113473207 A CN113473207 A CN 113473207A
Authority
CN
China
Prior art keywords
target
video
shooting
information
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110751297.5A
Other languages
English (en)
Other versions
CN113473207B (zh
Inventor
王毅
钱骏
刘旺
赵冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Boguan Information Technology Co Ltd
Original Assignee
Guangzhou Boguan Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Boguan Information Technology Co Ltd filed Critical Guangzhou Boguan Information Technology Co Ltd
Priority to CN202110751297.5A priority Critical patent/CN113473207B/zh
Publication of CN113473207A publication Critical patent/CN113473207A/zh
Application granted granted Critical
Publication of CN113473207B publication Critical patent/CN113473207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Abstract

本公开涉及计算机技术领域，具体涉及一种直播方法、装置、存储介质及电子设备。该直播方法包括：实时接收拍摄摄像机采集的第一视频；对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；在图形用户界面中显示所述第二视频。本公开提供的直播方法能够降低更换直播场景的成本，增强直播画面的丰富性。

Description

直播方法、装置、存储介质及电子设备
技术领域
本公开涉及计算机技术领域，具体涉及一种直播方法、装置、存储介质及电子设备。
背景技术
随着直播行业的兴起，观看直播的人也越来越多。目前大多数直播是通过搭建小型实景直播间，使用usb摄像头进行直播，但这种直播方式存在诸多问题，例如主播直播背景受限于实景搭建的直播间，更换背景成本较高；或者是主播拍摄镜头为usb摄像头，无法提供高质量的直播画质；以及主播的镜头无法根据主播需求进行运镜，限制较大等问题。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种直播方法、装置、存储介质及电子设备，旨在解决更换直播场景成本高，直播画面丰富性差等问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面，提供了一种直播方法，包括：实时接收拍摄摄像机采集的第一视频；对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；在图形用户界面中显示所述第二视频。
根据本公开的一些实施例，基于前述方案，所述方法还包括：利用虚拟引擎预先创建所述虚拟场景；在所述虚拟场景中创建所述虚拟摄像机和所述模型面片。
根据本公开的一些实施例，基于前述方案，在将所述图像序列中的图像映射至所述虚拟场景中指定的模型面片上之后，所述方法还包括：基于所述模型面片将所述图像序列中的所述图像中目标主体图像和真实背景图像相分离；将所述目标主体图像保留至所述模型面片上。
根据本公开的一些实施例，基于前述方案，所述方法还包括：在所述图形用户界面中创建与拍摄控制类型对应的拍摄控件；根据预先配置的拍摄信息创建所述拍摄控件包括的拍摄下拉控件；当检测到对目标拍摄下拉控件的选中操作时，获取所述目标拍摄下拉控件对应的目标拍摄信息；基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频。
根据本公开的一些实施例，基于前述方案，在所述拍摄控件为场景控件时，所述目标拍摄信息为目标虚拟场景；所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：利用所述目标虚拟场景中的虚拟摄像机，对所述目标虚拟场景进行拍摄。
根据本公开的一些实施例，基于前述方案，在所述拍摄控件为镜头控件时，所述目标拍摄信息为所述虚拟摄像机的目标运镜信息；所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：利用所述虚拟场景中的虚拟摄像机，按照所述虚拟摄像机的目标运镜信息对所述虚拟场景进行拍摄。
根据本公开的一些实施例，基于前述方案，在所述虚拟场景中包括一个所述虚拟摄像机时，所述目标运镜信息为所述虚拟摄像机的运动轨迹和/或景别信息；在所述虚拟场景中包括多个所述虚拟摄像机时，所述目标运镜信息包括虚拟摄像机的拍摄顺序，以及各虚拟摄像机的运动轨迹和/或景别信息。
根据本公开的一些实施例，基于前述方案，所述方法还包括：在所述图形用户界面中创建与后期控制类型对应的后期控件；根据预先配置的后期信息创建所述后期控件包括的后期下拉控件；当检测到对目标后期下拉控件的选中操作时，获取所述目标后期下拉控件对应的目标后期信息；基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频。
根据本公开的一些实施例，基于前述方案，在所述后期控件为音乐控件时，所述目标后期信息为目标音频文件；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述目标音频文件与所述第二视频进行拼合以更新所述第二视频。
根据本公开的一些实施例，基于前述方案，在所述后期控件为分屏控件时，所述目标后期信息为目标分屏信息；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述第二视频按照所述目标分屏信息进行分屏以更新所述第二视频。
根据本公开的一些实施例，基于前述方案，在所述后期控件为效果控件时，所述目标后期信息为目标效果信息；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述目标效果信息叠加至所述第二视频以更新所述第二视频。
根据本公开实施例的第二个方面，提供了一种直播装置，包括：接收模块，用于实时接收拍摄摄像机采集的第一视频；映射模块，用于对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；拍摄模块，用于利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；显示模块，用于在图形用户界面中显示所述第二视频。
根据本公开实施例的第三个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中的直播方法。
根据本公开实施例的第四个方面，提供了一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中的直播方法。
本公开示例性实施例可以具有以下部分或全部有益效果：
在本公开的一些实施例所提供的技术方案中，实时接收拍摄摄像机采集的第一视频，将第一视频解码后的图像序列中的图像映射至虚拟场景中指定的模型面片上，最后所述虚拟场景中的虚拟摄像机对虚拟场景进行拍摄，生成第二视频显示在图形用户界面中。一方面能够对接收的第一视频进行处理得到用于直播的视频图像，避免使用usb摄像头进行直播，能够实现高清晰度画面的采集；另一方面将接收的第一视频映射至虚拟场景中指定的模型面片上，使得直播背景不受限于实景搭建的直播间，直播画面更丰富，而且能够降低更换直播背景的成本；再一方面利用虚拟摄像机对虚拟场景进行拍摄，使得直播不受限于拍摄摄像头的运动，进一步提升了直播效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示意性示出本公开示例性实施例中一种直播方法的流程示意图；
图2示意性示出本公开示例性实施例中一种虚拟场景的示意图；
图3示意性示出本公开示例性实施例中另一种虚拟场景的示意图；
图4示意性示出本公开示例性实施例中一种直播场景的示意图；
图5示意性示出本公开示例性实施例中另一种直播场景的示意图；
图6示意性示出本公开示例性实施例中一种图形用户界面的示意图；
图7示意性示出本公开示例性实施例中一种图形用户界面的示意图；
图8示意性示出本公开示例性实施例中一种分屏画面的示意图；
图9示意性示出本公开示例性实施例中一种画面处理效果的示意图；
图10示意性示出本公开示例性实施例中一种直播装置的组成示意图；
图11示意性示出本公开示例性实施例中一种计算机可读存储介质的示意图；
图12示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
随着计算机和互联网技术的发展，直播越来越受到用户的青睐。在主播进行直播时，通常是搭建小型实景直播间，使用直播设备端自带的usb摄像头进行直播。
但使用这种现有的直播技术存在许多技术缺陷，其一是主播直播背景受限于实景搭建的直播间，更换背景需重新搭建装修，成本较高；其二，主播拍摄镜头为usb摄像头，目前市面上大多数usb摄像头清晰度只能到720P的清晰度，无法提供高质量的直播画质；其三，主播的镜头无法根据主播需求进行运镜，特别对于跳舞类主播，运镜可以极高地提高直播效果。
因此，基于现有的直播技术中的缺陷，本公开提供了一种直播方法，能够外接摄像头进行画面拍摄，在将拍摄的画面置于虚拟场景，利用虚拟场景中的虚拟摄像头实现多种拍摄效果，进而实现直播画面的多样性和丰富性。
以下对本公开实施例的技术方案的实现细节进行详细阐述。
图1示意性示出本公开示例性实施例中一种直播方法的流程示意图。如图1所示，该直播方法包括步骤S1至步骤S4：
步骤S1，实时接收拍摄摄像机采集的第一视频；
步骤S2，对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；
步骤S3，利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；
步骤S4，在图形用户界面中显示所述第二视频。
在本公开的一些实施例所提供的技术方案中，实时接收拍摄摄像机采集的第一视频，将第一视频解码后的图像序列中的图像映射至虚拟场景中指定的模型面片上，最后所述虚拟场景中的虚拟摄像机对虚拟场景进行拍摄，生成第二视频显示在图形用户界面中。一方面能够对接收的第一视频进行处理得到用于直播的视频图像，避免使用usb摄像头进行直播，能够实现高清晰度画面的采集；另一方面将接收的第一视频映射至虚拟场景中指定的模型面片上，使得直播背景不受限于实景搭建的直播间，直播画面更丰富，而且能够降低更换直播背景的成本；再一方面利用虚拟摄像机对虚拟场景进行拍摄，使得直播不受限于拍摄摄像头的运动，进一步提升了直播效果。
下面，将结合附图及实施例对本示例实施方式中的直播方法的各个步骤进行更详细的说明。
在本公开的一个实施例中，在步骤S1之前，所述方法还包括：利用虚拟引擎预先创建所述虚拟场景；在所述虚拟场景中创建所述虚拟摄像机和所述模型面片。
具体来说，为了实现将拍摄画面置于虚拟场景中，可以利用虚拟引擎创建一个用于直播的虚拟场景，例如UE4(Unreal Engine 4，虚幻引擎)，然后在每一个虚拟场景中，创建该虚拟场景下的虚拟摄像机和模型面片。
其中，虚拟场景例如高楼大厦、海浪沙滩、咖啡馆、图书馆等场景，在虚拟场景内包括构成该场景的虚拟对象，例如桌子、花盆、装饰物等。需要说明的是，创建的虚拟场景可以是一个，也可以是多个，创建多个虚拟场景为直播画面提供更多的场景，丰富直播画面的内容。
虚拟摄像机用于对虚拟场景进行拍摄得到第二视频。在同一虚拟场景的不同位置架设虚拟摄像机，得到的第二视频也不相同。比如拍摄虚拟场景中设置不同位置的虚拟摄像机机位，又或者是拍摄同一位置的不同景别的虚拟摄像机机位，比如全景、半身以及特写等。虚拟摄像机可以根据需求创建一个或多个，创建多个摄像机可以形成更多更丰富的运镜效果，能够提高直播画面的多样性和丰富性。
模型面片是在虚拟场景中为实拍画面预留的展示位置，使得拍摄摄像机采集的第一视频能够更好的与虚拟场景融合。模型面片也可以根据需求创建多个，同样也能够提高直播画面的多样性和丰富性。
图2和图3分别示意性示出本公开示例性实施例中两种虚拟场景的示意图。图2是以第一虚拟摄像机的视角拍摄的虚拟场景画面，图3是以第二虚拟摄像机的视角拍摄的虚拟场景画面。参考图2和图3，虚拟场景中都设置有模型面片，图2中201处为模型面片，图3中模型面片包括两个，分别为301和302。
在步骤S1中，实时接收拍摄摄像机采集的第一视频。
具体而言，拍摄摄像机可以是外接与直播设备的摄像机。在本公开的一个实施例中，在实时接收拍摄摄像机采集的第一视频之前，所述方法还包括：建立与所述拍摄摄像机的通讯连接，建立连接后才可以接收第一视频。
举例来说，直播设备可以是电脑端，拍摄摄像机可以是手机的摄像头，在电脑PC端的虚拟引擎中创建文本输入框，主播在文本输入框中输入手机网络位置IP地址及端口，PC端即可获取到对应的手机摄像头画面，实现手机端和电脑端的通讯连接。
通讯连接之后利用手机的摄像头拍摄第一视频，再将第一视频发送至电脑端。具体地，调用手机摄像头，可以将手机摄像头的对焦功能设置为人像自动对焦，并将变焦功能、光圈亮度调整功能，前后置摄像头选择功能调用并回显到app界面，用于主播选择进行视频拍摄，然后将拍摄到的视频压缩成H264格式，通过socket传出至电脑端。电脑端再接收通过socket传过来的H264媒体内容，即接收拍摄摄像机采集的第一视频。
当然，拍摄摄像机也可以是其他设备，例如相机、平板等，本公开在此不做具体限定。
在本公开的一个实施例，还可以在手机端实现实时美颜，以得到美颜处理后的第一视频。目前的手机SoC(系统级芯片)厂商纷纷开始在自己的产品中集成了人工智能加速引擎-AI加速核NPU(专用处理器)，从硬件层面针对主流机器学习算法进行优化。NPU的加入使得手机平台高效运行机器学习算法，AI抠像、AI美颜等功能得以在手机平台大放异彩，部分情况下甚至比非针对优化的主流台式机具有更好的AI实时美颜性能。因此可以编写程序使用品牌手机自带的AI功能接口，调用由深度神经网络驱动的镜头系统下自带的一键美颜，一键美白，一键瘦脸功能，百分比调整，并将这些功能回显到手机app界面，并提供用户页面调节功能，得到实时的美颜处理流。
图4示意性示出本公开示例性实施例中一种直播场景的示意图。参考图4所示，主播可以通过灯光+手机支架+绿幕+手机+电脑的组合方式，按照图4所示的布局，即可在很小的环境下实现小型绿幕演播厅的搭建。
图4中各设备的布局也具有一定的参考信息。例如，401为前侧双面玻璃贴，尺寸为3m*2.4mH；402为组合画框，尺寸约为0.4m*0.4m，数量共有6个；403为电视，尺寸为32寸69cm*39cm；404为储物矮柜，尺寸为0.8m*0.5m；405为左侧的伸缩杆和窗帘，尺寸是2m*2.4mH；406为带可伸缩灯架的面光灯，建议高度为1.5-1.8m；407为智能天花吸顶灯，直径0.45m，色温亮度可调节，光通景为2200ml±10％；408为绿色无纺布，尺寸约为宽度3m，长度3.5m，通过伸缩窗帘杆安装上墙；409为后侧双面玻璃贴，尺寸为3m*2.4mH；410为大环形灯，带有瞳孔光和手机支架；411为带可伸缩灯架的面光灯，建议高度为1.5-1.8m；412为桌面大环形灯；413为右侧的伸缩杆和窗帘，尺寸是1.7m*2.4mH；414为手机支架；415为桌子，桌面尺寸约为1m*0.7m；416为地面铺设的木纹地板，尺寸约为3m*2m；417为办公椅，高度可调节；418为后侧双面玻璃贴，尺寸为2m*2.4mH。
图5示意性示出本公开示例性实施例中另一种直播场景的示意图。参考图5所示的房间布局，501为大环形灯，带有瞳孔光和手机支架；502为带可伸缩灯架的面光灯，建议高度为1.5-1.8m；503为左侧的伸缩杆和窗帘，尺寸是1.7m*2.4mH；504为智能天花吸顶灯，直径0.45m，色温亮度可调节，光通景为2200ml±10％；505为办公椅，高度可调节；506为绿色无纺布，尺寸约为宽度2m，长度2.7m，通过伸缩窗帘杆安装上墙；507为前侧双面玻璃贴，尺寸为2m*2.4mH；508为组合画框，尺寸约为0.4m*0.4m，数量共有5个；509为手机支架；510为右侧的伸缩杆和窗帘，尺寸是2m*2.4mH；511为桌子，桌面尺寸约为1m*0.7m；512为储物矮柜，尺寸为0.6m*0.6m；513为落地灯，建议高度为1.5m；514为为后侧双面玻璃贴，尺寸为2m*2.4mH。
参考图4、图5中物品的陈设，主播可以在5～6平方米内的地方进行直播，同时享有更换虚拟场景、更换运镜信息、添加音乐、分屏处理、效果叠加等功能的直播，使得直播画面丰富，并且不受直播场地限制。
在步骤S2中，对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上。
具体而言，第一视频就是由一帧帧连续的图像构成的，通过对接收到的述第一视频进行解码得到单帧画面，在将单帧画面作为贴图依次贴到模型面片上，就可以得到虚拟场景中的实时视频画面。
在本公开的一个实施例中，在将所述图像序列中的图像映射至所述虚拟场景中指定的模型面片上之后，所述方法还包括：基于所述模型面片将所述图像序列中的所述图像中目标主体图像和真实背景图像相分离；将所述目标主体图像保留至所述模型面片上。
参考图4、图5所示，主播用户拍摄视频时背景比较单一，为绿色无纺布，因此，获取到的第一视频中包括了目标主体图像(主播)和真实背景图像(绿色背景)两个部分。为了将拍摄的视频与虚拟场景更好的融合，可以通过抠图的方式提取目标主体图像，将真实背景图像剔除。
具体而言，目标主体图像可以是直播时主播人物的图像，真实背景图像可以为主播身后真实存在的纯色幕布部分。当然，本公开并不限于此，目标主体图像和真实背景图像都可以根据需求来设定，例如目标主体图像可以是直播时涉及的动物如猫、狗之类的图像，纯色幕布部分可以是蓝色、绿色等颜色，需要选取一个总体上与真实背景图像具有区别的颜色，便于通过取色器将目标主体图像和真实背景图像相分离，实现将目标主体图像键抠像。
当然，还可以配置抠像的调整按钮，对自动抠图的结果进行手动调整，也可以对抠出的目标主体图像进行边缘平滑滤波处理，进而完善抠图结果，使生成的第二视频中目标主体图像与虚拟场景更加融合，视觉呈现更加真实。
需要说明的是，在将图像映射至模型面片上之后在进行目标主体图像和真实背景图像的分离，是因为抠图在软件上完成的，而在软件上抠图要有一个承载体，也就是模型面片。
在步骤S3中，利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频。
在本公开的一个示例性实施例中，在虚拟引擎中通过虚拟摄像机对虚拟场景进行拍摄，虚拟场景中的模型面片上包括映射的第一视频中的图像，就可以将拍摄摄像机采集的第一视频融入到虚拟场景中，进而得到用于显示的第二视频。
在步骤S4中，在图形用户界面中显示所述第二视频。
在本公开的一个示例性实施例中，将第二视频显示在图形用户界面中，以便于主播用户根据图形用户界面对第二视频进行个性化调整，增加了直播画面的丰富性，也增强了观众用户观看直播的趣味性。
在直播时第三方的推流应用可以实现屏幕的采集和直播流的推送功能，且第三方推流应用具有对机器性能要求低，插件丰富，使用更灵活等优势，因此主播倾向于利用第三方推流应用在多个直播平台上分别进行直播。
通过推流应用将第二视频采集并通过NDI(Network Device Interface，IP网络设备接口协议)传输之后主播通过开播软件，采集虚拟引擎传输出来的NDI画面，添加开播包装后进行开播，将第二视频推送至开播软件，并创建图形用户界面。
在本公开的一个示例性实施例中，为了提升直播画面的丰富性和可控性，以及为了便于主播用户可以根据自身的需要来进行直播，可以提前预设一些拍摄信息和后期信息，并将这些信息集成为图形用户界面中的控件，例如UI设计按钮。在实际应用过程中，主播通过在图形用户界面中选择相应的控件进行交互，就可以获取控件对应的信息进而配置个性化的第二视频。
图6示意性示出本公开示例性实施例中一种图形用户界面的示意图。参考图6所示，图形用户界面中包括用于显示当前视频画面的窗口。同时左上方还有多个控件，例如音乐控件、场景控件、镜头控件、分屏空间以及效果控件。每一控件下都包含了多个下拉控件，是属于该控件类别下的细分内容，例如场景控件601下包括“桃色诱人”602、“橘红橘绿”603、“海阔天空”604等细分场景。
其中场景控件、镜头控件属于拍摄控件，它们都是用来控制虚拟摄像机拍摄的，是在生成第二视频之前的；而音乐控件、分屏空间以及效果控件属于后期控件，因为它们都是用于在虚拟拍摄之后进行后期处理来更新第二视频的。
在本公开的一个示例性实施例中，所述方法还包括：在所述图形用户界面中创建与拍摄控制类型对应的拍摄控件；根据预先配置的拍摄信息创建所述拍摄控件包括的拍摄下拉控件；当检测到对目标拍摄下拉控件的选中操作时，获取所述目标拍摄下拉控件对应的目标拍摄信息；基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频。
具体地，在所述拍摄控件为场景控件时，所述目标拍摄信息为目标虚拟场景；所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：利用所述目标虚拟场景中的虚拟摄像机，对所述目标虚拟场景进行拍摄。
为了提高直播画面的丰富程度，给用户带来更好的直播体验，因此在虚拟引擎中设计虚拟场景，可以设置多个不同的场景画面。例如直播是用于带货场景，就可以通过设置商品展台、品牌广告等不同的布局来形成不同的虚拟场景画面；而如果用于主播舞蹈类直播，就可以将虚拟场景设置为各种类型的舞台，例如暖色灯光系列或者黑暗系等得到不同的虚拟场景。当然，本公开中的说明都是示例性的，并不能够限制本公开。
当用户在图形用户界面选中了场景控件中的一个下拉控件，则获取该控件对应的虚拟场景，然后在拍摄时利用该虚拟场景中的虚拟摄像机对虚拟场景进行拍摄，进而得到第二视频。
参考图6所示，当用户点击“桃色诱人”601控件时，则虚拟场景为桃色背景的舞台场景，拍摄的第二视频中也就是图6展示的舞台场景效果。当然，也可以选择其他的控件实现对虚拟场景的切换。
而在所述拍摄控件为镜头控件时，所述目标拍摄信息为所述虚拟摄像机的目标运镜信息；所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：利用所述虚拟场景中的虚拟摄像机，按照所述虚拟摄像机的目标运镜信息对所述虚拟场景进行拍摄。
与场景控件类似，也可以预先配置运镜信息，并映射为镜头控件，用户同样可以选择需要的镜头运镜模式，点击控件来进行第二视频的拍摄。
其中，虚拟摄像机的数量不同，运镜信息的内容也就不同。在所述虚拟场景中包括一个所述虚拟摄像机时，所述运镜信息为所述虚拟摄像机的运动轨迹和/或景别信息；在所述虚拟场景中包括多个所述虚拟摄像机时，所述目标运镜信息包括虚拟摄像机的拍摄顺序，以及各虚拟摄像机的运动轨迹和/或景别信息。
当虚拟场景中只有一个虚拟摄像机时，运镜信息可以是该虚拟摄像机的运动轨迹。举例来说，可以设置镜头推进、镜头拉远的运动轨迹，通过控制虚拟摄像机的参数变化，例如摄像机高度、摄像机角度以及摄像机视角来实现镜头的运动，进而能够根据虚拟摄像机的运镜信息对虚拟场景进行拍摄得到第二视频。
同时，虚拟摄像机在拍摄时可以通过推进或拉远镜头而得到不同的景别，例如全身、半身、面部特写、腿部特写等等，因此，运镜信息还可以是设置的景别信息。
当然，运镜信息也可以是运动轨迹和景别信息的结合，结合可以是运动和景别同时设置并拍摄，或者先配置轨迹再改变景别。例如在主播直播跳舞场景中，预先配置的运镜信息是先左右摇摆，之后定格至面部特写。
当虚拟场景中包括多个虚拟摄像机时，运镜信息的内容则更为丰富，不仅仅是单个虚拟摄像机的运动轨迹和/或景别信息，也可以包括各虚拟摄像机的拍摄顺序。也就是配置一组镜头的运镜，通过多个虚拟摄像机的机位信息以及各虚拟摄像机的拍摄可以使得直播的视频不受拍摄摄像机的限制，能够在有限的空间里提供更加丰富的拍摄策略和直播画面效果。
运镜信息中也可以是包括各虚拟摄像机的拍摄顺序，而不设置摄像机的运动轨迹，即使用不同的虚拟摄像机按照拍摄顺序进行静态拍摄得到第二视频。
需要说明的是，运镜信息是提前设定的对虚拟场景的拍摄策略，通过控制虚拟拍摄时使用的虚拟摄像机的机位信息以及虚拟摄像机的参数信息来实现，本公开对此就不做具体的限定。
在配置了多个运镜信息之后，将运镜信息映射为镜头控件下属的下拉控件，也可以是热键、按钮等等形式。
图7示意性示出本公开示例性实施例中一种图形用户界面的示意图。参考图7所示，镜头控件701下包含了多种不同的运镜信息集成的控件，例如“局部展示”702、“左右摇摆”703、“荡秋千”704、“荡秋千2”705等，以“局部展示”为例，该控件对应的是运镜信息是将当前拍摄的虚拟摄像头镜头推进设定值的焦距。
在使用过程过程中，主播根据直播需求选择镜头控件下属的下拉控件，直播平台获取该控件对应的运镜信息，然后根据运镜信息进行虚拟拍摄，最终得到按照预设的运镜方式拍摄的第二视频。主播也可以通过切换控件，来对直播视频的运镜拍摄方式进行实时的调整。
基于上述方法，将拍摄的视频置于预设的虚拟场景中，能够解决直播场景受限于场地的问题，提供更加丰富的直播场景，增加了直播画面的多样性；同时在更换直播背景时，只需选择其他的虚拟场景，而不需要重新搭建场景，降低了更换背景的成本。
在本公开的一个实施例，除了可以在拍摄过程中进行自定义配置，还可以对直播视频进行后期处理，以得到更为丰富直播画面。
具体地，所述方法还包括：在所述图形用户界面中创建与后期控制类型对应的后期控件；根据预先配置的后期信息创建所述后期控件包括的后期下拉控件；当检测到对目标后期下拉控件的选中操作时，获取所述目标后期下拉控件对应的目标后期信息；基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频。
在本公开的一个实施例中，在所述后期控件为音乐控件时，所述目标后期信息为目标音频文件；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述目标音频文件与所述第二视频进行拼合以更新所述第二视频。
其中，可以预先配置音频文件，并将音频文件即成为音乐控件包括的下拉控件。具体来说，例如直播平台读取音乐源文件，通过解析该源文件得到歌单，歌单中可以是一首歌曲也可以是多首歌曲，根据歌单中的歌曲在图形用户界面上生成相应的控制面板以得到每首歌曲对应的控件。
直播过程支持主播在直播视频的基础上增加播放音乐的功能，用户在界面中点击音乐控件，即可出现歌曲列表，再从歌曲列表中点击歌曲对应的下拉控件以获取目标音频文件，最后将目标音频文件与虚拟拍摄的视频文件进行拼合输出用于直播。
另外，可以只保留歌曲对应的音频源，也可以将歌曲对应的音频源和第二视频的音频源同时保留，作为第二视频的音频输出。
在本公开的一个实施例中，在所述后期控件为分屏控件时，所述目标后期信息为目标分屏信息；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述第二视频按照所述目标分屏信息进行分屏以更新所述第二视频。
具体地，在生成所述第二视频之后，还可以制作分屏动画，例如二分屏，三分屏，九分屏，并制作按键映射作为分屏控件下对应的下拉按钮，以此来实现对拍摄的画面进行分屏。
图8示意性示出本公开示例性实施例中一种分屏画面的示意图，参考图8所示，是对第二视频进行九分屏处理，并将分屏画面作为直播画面显示在图形交互界面上的直播截图。
在本公开的一个实施例中，在所述后期控件为效果控件时，所述目标后期信息为目标效果信息；所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：将所述目标效果信息叠加至所述第二视频以更新所述第二视频。
具体地，还可以制作画面处理效果，包括颜色变化、震屏、特效包装，通过控件选择后实时叠加到第二视频画面上。
图9示意性示出本公开示例性实施例中一种画面处理效果的示意图，参考图9所示，是在对第二视频三分屏处理的基础上分别叠加了三种不同的画面效果得到的视频画面截图。
基于上述方法，在得到第二视频还可支持音频拼合、分屏、效果叠加等功能，进一步提高了直播画面的丰富性，提高观众的留存率。
图10示意性示出本公开示例性实施例中一种直播装置的组成示意图，如图10所示，该直播装置1000可以包括接收模块1001、映射模块1002、拍摄模块1003以及显示模块1004。其中：
接收模块1001，用于实时接收拍摄摄像机采集的第一视频；
映射模块1002，用于对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；
拍摄模块1003，用于利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；
显示模块1004，用于在图形用户界面中显示所述第二视频。
根据本公开的示例性实施例，所述直播装置1000还包括创建模块(图中未示出)，用于利用虚拟引擎预先创建所述虚拟场景；在所述虚拟场景中创建所述虚拟摄像机和所述模型面片。
根据本公开的示例性实施例，所述直播装置1000还包括抠图模块(图中未示出)，用于在将所述图像序列中的图像映射至所述虚拟场景中指定的模型面片上之后，基于所述模型面片将所述图像序列中的所述图像中目标主体图像和真实背景图像相分离；将所述目标主体图像保留至所述模型面片上。
根据本公开的示例性实施例，所述直播装置1000还包括拍摄控件模块(图中未示出)，用于根据预先配置的拍摄信息创建所述拍摄控件包括的拍摄下拉控件；当检测到对目标拍摄下拉控件的选中操作时，获取所述目标拍摄下拉控件对应的目标拍摄信息；基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频。
根据本公开的示例性实施例，所述拍摄控件模块包括场景控件单元，在所述拍摄控件为场景控件时，所述目标拍摄信息为目标虚拟场景；用于利用所述目标虚拟场景中的虚拟摄像机，对所述目标虚拟场景进行拍摄。
根据本公开的示例性实施例，所述拍摄控件模块包括镜头控件单元，在所述拍摄控件为镜头控件时，所述目标拍摄信息为所述虚拟摄像机的目标运镜信息，用于利用所述虚拟场景中的虚拟摄像机，按照所述虚拟摄像机的目标运镜信息对所述虚拟场景进行拍摄。
根据本公开的示例性实施例，在所述虚拟场景中包括一个所述虚拟摄像机时，所述目标运镜信息为所述虚拟摄像机的运动轨迹和/或景别信息；在所述虚拟场景中包括多个所述虚拟摄像机时，所述目标运镜信息包括虚拟摄像机的拍摄顺序，以及各虚拟摄像机的运动轨迹和/或景别信息。
根据本公开的示例性实施例，所述直播装置1000还包括后期控件模块(图中未示出)，用于在所述图形用户界面中创建与后期控制类型对应的后期控件；根据预先配置的后期信息创建所述后期控件包括的后期下拉控件；当检测到对目标后期下拉控件的选中操作时，获取所述目标后期下拉控件对应的目标后期信息；基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频。
根据本公开的示例性实施例，所述后期控件模块包括音乐控件单元，在所述后期控件为音乐控件时，所述目标后期信息为目标音频文件；用于将所述目标音频文件与所述第二视频进行拼合以更新所述第二视频。
根据本公开的示例性实施例，所述后期控件模块包括分屏控件单元，在所述后期控件为分屏控件时，所述目标后期信息为目标分屏信息；用于将所述第二视频按照所述目标分屏信息进行分屏以更新所述第二视频。
根据本公开的示例性实施例，所述后期控件模块包括效果控件单元，在所述后期控件为效果控件时，所述目标后期信息为目标效果信息；用于将所述目标效果信息叠加至所述第二视频以更新所述第二视频。
上述的直播装置1000中各模块的具体细节已经在对应的直播方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的存储介质。图11示意性示出本公开示例性实施例中一种计算机可读存储介质的示意图，如图11所示，描述了根据本公开的实施方式的用于实现上述方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如手机上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。图12示意性示出本公开示例性实施例中一种电子设备的计算机系统的结构示意图。
需要说明的是，图12示出的电子设备的计算机系统1000仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图12所示，计算机系统1200包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从存储部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。
特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本公开的系统中限定的各种功能。
需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种直播方法，其特征在于，包括：
实时接收拍摄摄像机采集的第一视频；
对所述第一视频进行解码得到图像序列，并将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；
利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；
在图形用户界面中显示所述第二视频。
2.根据权利要求1所述的直播方法，其特征在于，所述方法还包括：
利用虚拟引擎预先创建所述虚拟场景；
在所述虚拟场景中创建所述虚拟摄像机和所述模型面片。
3.根据权利要求1所述的直播方法，其特征在于，在将所述图像序列中的图像映射至所述虚拟场景中指定的模型面片上之后，所述方法还包括：
基于所述模型面片将所述图像序列中的所述图像中目标主体图像和真实背景图像相分离；
将所述目标主体图像保留至所述模型面片上。
4.根据权利要求1所述的直播方法，其特征在于，所述方法还包括：
在所述图形用户界面中创建与拍摄控制类型对应的拍摄控件；
根据预先配置的拍摄信息创建所述拍摄控件包括的拍摄下拉控件；
当检测到对目标拍摄下拉控件的选中操作时，获取所述目标拍摄下拉控件对应的目标拍摄信息；
基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频。
5.根据权利要求4所述的直播方法，其特征在于，在所述拍摄控件为场景控件时，所述目标拍摄信息为目标虚拟场景；
所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：
利用所述目标虚拟场景中的虚拟摄像机，对所述目标虚拟场景进行拍摄。
6.根据权利要求4所述的直播方法，其特征在于，在所述拍摄控件为镜头控件时，所述目标拍摄信息为所述虚拟摄像机的目标运镜信息；
所述基于所述目标拍摄信息利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，包括：
利用所述虚拟场景中的虚拟摄像机，按照所述虚拟摄像机的目标运镜信息对所述虚拟场景进行拍摄。
7.根据权利要求6所述的直播方法，其特征在于，所述方法还包括：
在所述虚拟场景中包括一个所述虚拟摄像机时，所述目标运镜信息为所述虚拟摄像机的运动轨迹和/或景别信息；
在所述虚拟场景中包括多个所述虚拟摄像机时，所述目标运镜信息包括虚拟摄像机的拍摄顺序，以及各虚拟摄像机的运动轨迹和/或景别信息。
8.根据权利要求1所述的直播方法，其特征在于，所述方法还包括：
在所述图形用户界面中创建与后期控制类型对应的后期控件；
根据预先配置的后期信息创建所述后期控件包括的后期下拉控件；
当检测到对目标后期下拉控件的选中操作时，获取所述目标后期下拉控件对应的目标后期信息；
基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频。
9.根据权利要求8所述的直播方法，其特征在于，在所述后期控件为音乐控件时，所述目标后期信息为目标音频文件；
所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：
将所述目标音频文件与所述第二视频进行拼合以更新所述第二视频。
10.根据权利要求8所述的直播方法，其特征在于，在所述后期控件为分屏控件时，所述目标后期信息为目标分屏信息；
所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：
将所述第二视频按照所述目标分屏信息进行分屏以更新所述第二视频。
11.根据权利要求8所述的直播方法，其特征在于，在所述后期控件为效果控件时，所述目标后期信息为目标效果信息；
所述基于所述目标后期信息对所述第二视频进行处理以更新所述第二视频，包括：
将所述目标效果信息叠加至所述第二视频以更新所述第二视频。
12.一种直播装置，其特征在于，包括：
接收模块，用于实时接收拍摄摄像机采集的第一视频；
映射模块，用于对所述第一视频进行解码得到图像序列，以将所述图像序列中的图像映射至虚拟场景中指定的模型面片上；
拍摄模块，用于利用所述虚拟场景中的虚拟摄像机对所述虚拟场景进行拍摄，以生成第二视频；
显示模块，用于在图形用户界面中显示所述第二视频。
13.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1至11任一项所述的直播方法。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至11任一项所述的直播方法。
CN202110751297.5A 2021-07-02 2021-07-02 直播方法、装置、存储介质及电子设备 Active CN113473207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110751297.5A CN113473207B (zh) 2021-07-02 2021-07-02 直播方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110751297.5A CN113473207B (zh) 2021-07-02 2021-07-02 直播方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN113473207A true CN113473207A (zh) 2021-10-01
CN113473207B CN113473207B (zh) 2023-11-28

Family

ID=77877560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110751297.5A Active CN113473207B (zh) 2021-07-02 2021-07-02 直播方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN113473207B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546227A (zh) * 2022-02-18 2022-05-27 北京达佳互联信息技术有限公司 虚拟镜头控制方法、装置、计算机设备及介质
CN115379195A (zh) * 2022-08-26 2022-11-22 维沃移动通信有限公司 视频生成方法、装置、电子设备和可读存储介质
CN115396595A (zh) * 2022-08-04 2022-11-25 北京通用人工智能研究院 视频生成方法、装置、电子设备及存储介质
CN116991298A (zh) * 2023-09-27 2023-11-03 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258290A1 (en) * 2017-09-07 2020-08-13 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
CN111698390A (zh) * 2020-06-23 2020-09-22 网易（杭州）网络有限公司 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN111885306A (zh) * 2020-07-28 2020-11-03 重庆虚拟实境科技有限公司 目标对象调整方法、计算机装置及存储介质
CN111915714A (zh) * 2020-07-09 2020-11-10 海南车智易通信息技术有限公司 用于虚拟场景的渲染方法、客户端、服务器及计算设备
CN112044068A (zh) * 2020-09-10 2020-12-08 网易（杭州）网络有限公司 人机交互方法、装置、存储介质及计算机设备
CN112188228A (zh) * 2020-09-30 2021-01-05 网易（杭州）网络有限公司 直播方法及装置、计算机可读存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200258290A1 (en) * 2017-09-07 2020-08-13 Sony Interactive Entertainment Inc. Image generation apparatus and image generation method
CN111698390A (zh) * 2020-06-23 2020-09-22 网易（杭州）网络有限公司 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN111915714A (zh) * 2020-07-09 2020-11-10 海南车智易通信息技术有限公司 用于虚拟场景的渲染方法、客户端、服务器及计算设备
CN111885306A (zh) * 2020-07-28 2020-11-03 重庆虚拟实境科技有限公司 目标对象调整方法、计算机装置及存储介质
CN112044068A (zh) * 2020-09-10 2020-12-08 网易（杭州）网络有限公司 人机交互方法、装置、存储介质及计算机设备
CN112188228A (zh) * 2020-09-30 2021-01-05 网易（杭州）网络有限公司 直播方法及装置、计算机可读存储介质和电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546227A (zh) * 2022-02-18 2022-05-27 北京达佳互联信息技术有限公司 虚拟镜头控制方法、装置、计算机设备及介质
CN115396595A (zh) * 2022-08-04 2022-11-25 北京通用人工智能研究院 视频生成方法、装置、电子设备及存储介质
CN115396595B (zh) * 2022-08-04 2023-08-22 北京通用人工智能研究院 视频生成方法、装置、电子设备及存储介质
CN115379195A (zh) * 2022-08-26 2022-11-22 维沃移动通信有限公司 视频生成方法、装置、电子设备和可读存储介质
CN115379195B (zh) * 2022-08-26 2023-10-03 维沃移动通信有限公司 视频生成方法、装置、电子设备和可读存储介质
CN116991298A (zh) * 2023-09-27 2023-11-03 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法
CN116991298B (zh) * 2023-09-27 2023-11-28 子亥科技(成都)有限公司 一种基于对抗神经网络的虚拟镜头控制方法

Also Published As

Publication number Publication date
CN113473207B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN113473207B (zh) 直播方法、装置、存储介质及电子设备
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
CN111698390B (zh) 虚拟摄像机控制方法及装置、虚拟演播厅实现方法及系统
CN107770627A (zh) 图像显示装置和操作图像显示装置的方法
CN103037165A (zh) 一种实时滤镜即时拼贴的拍照方法
JP5851625B2 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
WO2020090458A1 (ja) 表示装置、及び表示制御方法
CN106792228A (zh) 一种直播互动方法和系统
CN113115110B (zh) 视频合成方法、装置、存储介质与电子设备
CN111405339B (zh) 一种分屏显示方法、电子设备及存储介质
CN108898675A (zh) 一种在虚拟场景中添加3d虚拟对象的方法及装置
CN112839190B (zh) 虚拟图像与现实场景同步视频录制或直播的方法
CN112543344B (zh) 直播控制方法、装置、计算机可读介质及电子设备
CN110090437A (zh) 视频获取方法、装置、电子设备及存储介质
CN110012336A (zh) 直播界面的图片配置方法、终端及装置
CN103312981A (zh) 一种多照片合成拍照方法及拍照装置
CN111291219A (zh) 一种改变界面背景颜色的方法及显示设备
CN110225401A (zh) 一种可调整视角的视频播放方法及装置
CN114302221A (zh) 一种虚拟现实设备及投屏媒资播放方法
CN112019921A (zh) 应用于虚拟演播室的肢体动作数据处理方法
KR101373631B1 (ko) 실시간 크로마키 합성 시스템 및 방법
CN108876866B (zh) 一种媒体数据处理方法、装置及存储介质
US11581018B2 (en) Systems and methods for mixing different videos
CN116962744A (zh) 网络直播的连麦互动方法、装置及直播系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant