CN112235585A - 一种虚拟场景的直播方法、装置及系统 - Google Patents

一种虚拟场景的直播方法、装置及系统 Download PDF

Info

Publication number
CN112235585A
CN112235585A CN202010900901.1A CN202010900901A CN112235585A CN 112235585 A CN112235585 A CN 112235585A CN 202010900901 A CN202010900901 A CN 202010900901A CN 112235585 A CN112235585 A CN 112235585A
Authority
CN
China
Prior art keywords
live
video stream
virtual
scene
live broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010900901.1A
Other languages
English (en)
Other versions
CN112235585B (zh
Inventor
牛长锋
逯海亮
韩坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shiboyun Information Technology Co Ltd
Original Assignee
Jiangsu Shiboyun Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Shiboyun Information Technology Co Ltd filed Critical Jiangsu Shiboyun Information Technology Co Ltd
Priority to CN202010900901.1A priority Critical patent/CN112235585B/zh
Publication of CN112235585A publication Critical patent/CN112235585A/zh
Application granted granted Critical
Publication of CN112235585B publication Critical patent/CN112235585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供一种虚拟场景的直播方法、装置及系统。其中,方法包括:云渲染服务器响应于直播操控者的操控行为生成虚拟直播场景;对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。本申请由云渲染服务器对生成的虚拟直播场景进行渲染得到由直播观看者进行观看的直播视频流,并将该视频流发送至视频源服务器,由视频源服务器下发至直播观看者终端进行播放,相对于通过在终端进行录屏得到直播数据的方式,本申请实施例提供的虚拟场景的直播方案能够降低对终端的性能要求,并且能够实现降低时延。

Description

一种虚拟场景的直播方法、装置及系统
技术领域
本发明涉及直播技术领域,具体而言,涉及一种虚拟场景的直播方法、装置及系统。
背景技术
现有的直播技术中,比如游戏直播,一般是通过在玩家终端进行录屏的方式采集待进行直播的视频数据,并将采集的视频数据进行编码后上传至视频直播服务器,然后由视频直播服务器进行分发至对应的直播观看用户的终端进行解码播放。
本发明的发明人在研究中发现,上述的直播方式由于是在视频播放过程中直接进行录屏,直播的视频是固定的,无法满足虚拟场景的直播需求,比如虚拟演唱会场景中存在一个虚拟演唱者,不同的观看者通过不同视角进行观看虚拟演唱者的演出;或者是在虚拟教室老师教学场景中,学生可以通过不同视角进行观看老师的整个教学过程。
发明内容
有鉴于此,本发明提供一种虚拟场景的直播方法、装置及系统,以实现虚拟场景的视频直播。
具体地,本发明是通过如下技术方案实现的:
第一方面,本发明实施例中提供了一种虚拟场景的直播方法,所述方法应用于云渲染服务器,所述方法包括:
响应于直播操控者的操控行为生成虚拟直播场景;
对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;
将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
第二方面,本发明实施例提供了一种虚拟场景的直播装置,所述装置,包括:
生成模块,用于响应于直播操控者的操控行为生成虚拟直播场景;
渲染模块,用于对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;
第一发送模块,用于将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
第三方面,本发明实施例中提供了一种虚拟场景的直播系统,所述系统包括:操控端和云渲染服务器;
所述操控端用于上传直播操控者的操控行为数据;
所述云渲染服务器用于响应于直播操控者的操控行为生成虚拟直播场景;对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
第四方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如第一方面所述方法的步骤。
第五方面,本本发明实施例还提供了一种计算机设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如第一方面所述的方法步骤。
本发明实施例中提供的一种虚拟场景的直播方法、装置及系统,在直播开始以后,云渲染服务器响应于直播操控者的操控行为生成虚拟直播场景;对该虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;云渲染服务器将得到的第一视频流发送至视频源服务器,由视频源服务器下发至接入的直播观看者终端进行播放;进而本申请实施例中,通过云渲染服务器对运行于云渲染服务器上的应用进程所生成的虚拟直播场景进行渲染得到进行直播观看的第一视频流,将该第一视频流发送至视频源服务器,无需通过在终端进行录屏即可实现虚拟场景的直播,本申请实施例提供的虚拟场景的直播方案可以实现直播观看者从不同角度进行观看直播。
附图说明
图1是本发明一示例性实施例示出的虚拟场景的直播方法的应用场景示意图;
图2是本发明一示例性实施例示出的一种虚拟场景的直播方法的流程步骤示意图;
图3是本发明一示例性实施例示出的另一种虚拟场景的直播方法的应用场景示意图;
图4是本发明一示例性实施例示出的另一种虚拟场景的直播方法的流程步骤示意图;
图5是本发明一示例性实施例示出的生成第一视频流的流程示意图;
图6是本发明一示例性实施例示出的生成第一视频流的流程步骤示意图;
图7是本发明一示例性实施例示出的一种虚拟场景的直播装置的结构示意图;
图8是本发明一示例性实施例示出的一种虚拟场景的直播系统的组成示意图;
图9是本发明一示例性实施例示出的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
基于云流化技术可以实现将应用运行于云渲染服务器,云渲染服务器获取终端发送的应用操控指令,根据该应用操控指令执行应用进程的场景渲染得到应用场景画面,并对该应用场景画面和对应的音频进行采集和编码,以视频流的方式下发至用户终端进行播放;该方式中,由于在用户终端无需进行应用的下载安装和更新等操作,降低了对终端的性能要求,使得用户在低配置的终端设备上就可以实现体验大型游戏应用、教育应用、娱乐应用等应用。
现有的应用直播方式中,采用在终端进行录屏的方式采集直播数据,该方式存在着对终端性能要求高和时延较高的问题,并且通过该方式得到的直播数据是固定的,即直播观看者只能观看相同的直播视频。
由于在一些应用的场景中,比如虚拟演唱会场景和虚拟教学场景,演唱者或者老师可以通过直播的方式让观看者观看演唱会或者教学过程,采用上述现有的直播方式进行直播则无法满足直播观看者从不同视角下进行观看直播。
基于上述问题,本申请实施例中提供了一种虚拟场景的直播方法、装置及系统。
图1是本发明一示例性实施例示出的虚拟场景直播方法的应用场景示意图;参照图1所示的实施例,应用进程运行于云渲染服务器10上,操控端50用于将直播操控者的操控行为数据上传至云渲染服务器10,云渲染服务器10执行应用进程,响应于直播操控者的操控行为生成对应的虚拟直播场景,并对该虚拟直播场景进行渲染,得到在直播观看者观测点下的第一视频流,将该第一视频流提供至视频源服务器40,由该视频源服务器40进行视频分发将该第一视频流提供至观看者终端进行播放,比如图示中的观看者终端1、观看者终端2、、、观看者终端n。
上述的云渲染服务器可以是虚拟服务器或者是实体服务器,可以是独立服务器或者是服务器集群,本申请对此不作限定。
上述操控端可以是动捕设备,或者是采集动捕设备所采集的用于表征用户操控行为的数据(比如肢体关键点的位置数据)的动捕服务器;也可以是手机、平板电脑等具有人际交互功能的设备;本申请对此不作限定。
图2是本发明一示例性实施例示出的一种虚拟场景的直播方法的流程步骤示意图;参照图2所示,该方法应用于上述的云渲染服务器,该方法包括如下步骤:
S10、响应于直播操控者的操控行为生成虚拟直播场景。
本实施例中,动捕服务器或者动捕设备将采集的直播操控者的行为数据上传至云渲染服务器,云渲染服务器执行应用进程响应用户的操控行为,生成虚拟直播场景。
S20、对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流。
云渲染服务器获取直播观看者的观测点的信息,该观测点的信息包括观测点对应于虚拟场景中的位置信息和该观测点的直播观看者视野范围,该视野范围由观看视角类型(全景视角还是非全景视角)、观看方向表征,若为非全景视角,比如大小为30-100度范围内、水平朝向前的视场角。
直播观测点的信息可以是由平台管理员根据应用本身进行预先设置的,也可以是由直播操控者在应用初始配置界面中进行预先配置的。
S30、将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
进而本申请实施例中,云渲染服务器可以响应直播操控者操控行为生成虚拟直播场景,对该虚拟直播场景进行渲染得到对应于直播观看者观测点的第一视频流,并将该第一视频流发送至视频源服务器,由视频源服务器进行下发至直播观看者终端进行播放。进而可以满足直播观看者能够在指定的观测点处进行观看虚拟场景的直播,进而实现了虚拟演唱会的直播、虚拟教育教学直播等方案,并且本申请由于是云渲染服务器直接渲染得到上述的第一视频流,相对于录屏的方式时延较低,对终端的性能要求较低,且更能够得到高质量的直播视频流。
图4是本发明一示例性实施例示出的另一种虚拟场景的直播方法的流程步骤示意图;进而本申请实施例中,参照图4所示,上述步骤S10中,响应于直播操控者的操控行为生成虚拟直播场景,具体包括如下步骤:
S101、获取所述直播操控者的操控行为数据。
图4是本发明一示例性实施例示出的另一种虚拟场景的直播方法的应用场景示意图;参照图4所示,本申请实施例中,以操控端50为动捕设备500为例,该动捕设备500采集直播操控者的操控行为数据,该操控行为数据比如为肢体动作数据,该动捕设备可以是穿戴式的,用于采集表征用户肢体动作的关键点位置数据,并将该操控行为数据直接上传至云渲染服务器10,或者经由动捕服务器(图中未示出)处理以后上传至云渲染服务器10。
上述操控行为数据包括肢体动作数据,比如挥手、奔跑、出击等动作;该操控行为数据也可以是包括直播操控者的面部表情数据、声音数据等。
S102、响应于所述操控行为数据生成虚拟直播场景,在所述虚拟直播场景中创建对应于所述直播操控者的虚拟角色,将所述直播操控者的操控行为数据映射到所述虚拟角色。
继续参照图4所示,云渲染服务器10在生成的虚拟直播场景中创建与该直播操控者对应的虚拟角色,将直播操控者的操控行为数据映射至该虚拟角色,使得该虚拟直播场景中直播操控者的虚拟角色与真实直播操控者行为保持一致,云渲染服务器对包含虚拟角色的虚拟直播场景进行渲染得得到第一视频流。
进而本实施例中直播观看者能够更加直观的观看直播操控者的行为,使得直播场景更加形象生动,更加具有观赏性。
本实施例中,云渲染服务器是否要创建跟直播操控者对应的虚拟角色,可以是根据直播操控者的选择而定,直播操控者可以选择创建跟自己对应的虚拟角色,将包含该虚拟角色的直播场景直播出去,或者是选择不创建跟自己对应的虚拟角色,比如,直播操控者为教学老师时,直播操控者也可以只将自己的语音进行直播给观看者。
在一些具体的直播场景中,比如游戏直播场景中,直播操控者通常需要观看自己当前视常角下的画面,进而本实施例中,云渲染服务器在对虚拟直播场景进行渲染得到第一视频流时,还需要渲染得到对应于直播操控者当前视场角的第二视频流。
进而在一实施例中,参照图4所示,上述方法,还包括如下步骤:
S40、对所述虚拟直播场景进行渲染,得到适配所述直播操控者当前视场角的第二视频流。
本实施例中,再次参照上述图3所示,云渲染服务器10从直播操控者终端20获取直播操控者的当前视场角信息。
上述直播操控者终端20包括虚拟现实头戴式显示设备(VR头盔、VR一体机等)、手机、平板电脑、电视等设备。
以操控者终端为虚拟现实头戴式显示设备为例,该虚拟现实头戴式显示设备上设置有姿态传感器,根据该姿态传感器的检测数据可以确定用户的当前视场角信息,操控者终端会定时(比如每间隔1ms)上传用户的当前视场角信息至云渲染服务器,本申请对此不作限定。
上述云渲染服务器根据获得的直播操控者的当前视场角信息对虚拟直播场景进行渲染,得到适配直播操控者当前视场角的第二视频流。
S50、将所述第二视频流发送至所述直播操控者终端进行播放。
本实施例中,上述直播操控者也可以自己选择是否进行直播观看,在直播操控者选择进行直播观看的情况下,云渲染服务器按照上述的步骤进行渲染得到对应于直播观看者当前视场角的第二视频流,若直播观看者选择不进行直播观看,则云渲染服务器不执行上述渲染得到第二视频流的步骤。
本实施例中,可以实现直播操控者在直播操控的过程中观看自己当前视场角下的视频。
在直播操控者的数量为多个的情况下,比如游戏直播过程中,该游戏场景为多人对抗的情况;此时,本申请上述步骤S40中,具体包括如下步骤S40':
S40'、对所述虚拟直播场景进行渲染得到适配每个所述直播操控者当前视场角的第二视频流。
本实施例中,在有多个直播操控者的情况下,可以是针对每个直播操控者分别渲染得到各直播操控者当前视场角下的第二视频流,也可以是只针对开启了直播观看功能的直播操控者进行渲染得到其当前视场角下的第二视频流。
本实施例中,上述步骤S50、将所述第二视频流发送至直播操控者终端进行播放,包括S50':
S60'、将所述第二视频流分别发送至对应的目标直播操控者终端进行播放。
云渲染服务器在渲染得到多路第二视频流后,云渲染服务器会根据各第二视频流、视场角和操控者终端的对应关系,将该多路第二视频流分别发送至对应的目标操控者终端。
进而本申请上述实施例中,可以实现将直播操控者(直播主)虚拟至应用进程的应用场景中得到包含操控者虚拟角色的虚拟直播场景,根据该操控者的操控行为数据同步控制虚拟直播场景中的操控者虚拟角色,并且分别生成对应于该操控者当前视场角的第二视频流和对应于直播观看者观测点的第一视频流,并分别推送至操控者终端以及视频源服务器,第一视频流作为待直播视频流进一步由视频源服务器分发至对应的直播观看者终端,满足直播观看者能够在不同的观测点进行观看视频直播。
本申请,上述的直播观看者终端包括虚拟现实头戴式显示设备(VR头盔、VR一体机等)、手机、平板电脑、电视等设备。
本实施例中,上述直播观看者的观测点的数量可以是一个或者是多个。
若观测点的数量为一个,则直播观看者只能观看在同一个观测点下的视频流。
若上述的观测点的数量为多个,则云渲染服务器会分别生成在不同观测点下的第一视频流,进而得到分别对应于多个观测点的多路第一视频流,云渲染服务器将对应于不同观测点的第一视频流下发至视频源服务器。
当上述的直播观测点的数量为多个时,该多个观测点为不同的观测点,具体的,该多个观测点可以是对应于虚拟直播场景中的位置不相同,可以是对应于虚拟直播场景中的视角朝向不相同,或者是二者均不相同。
本申请一实施例中,在步骤S20、对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流之前,上述方法,还包括如下步骤A10:
步骤A10、获取所述直播观看者的当前视场角和对应于所述虚拟直播场景中的位置,根据所述直播观看者的当前视场角和对应于所述虚拟直播场景中的位置得到所述观测点信息。
示例性地,视频源服务器可以在采集到直播观看者终端的视场角信息以后,将该视场角信息上传至云渲染服务器,进而云渲染服务器根据从视频源服务器获取的该视场角信息和直播观看者对应于虚拟直播场景中的位置信息确定观测点的信息,根据该观测点的信息进行渲染生成该视场角下的待直播视频流。
由于直播过程对直播视频播放的实时性相对要求较低,该方式中为避免出现直播观看者在观看视频直播过程中出现黑边的情况发送生,在充分参考用户头部的最大运动幅度后,云渲染服务器使用大于直播观看者的当前视场角指定倍数的视场角进行渲染,进而使得渲染得到的画面范围大于使用直播观看者当前视场角进行渲染得到的画面范围,避免直播观看者头部发生运动的情况下画面显示出现黑边的情况,提高用户体验。
本申请另一实施例中,在生成对应于直播观看者观测点的第一视频流之前,上述方法,还包括如下步骤B10:
步骤B10、获取已配置的所述直播观看者的观测点信息。
示例性地,云渲染服务器获取外部定义的应用启动参数,该应用启动参数中包含有直播参数,比如观测点的信息、直播画面的帧率和分辨率。
图5是本发明一示例性实施例示出的生成第一视频流的流程示意图;参照图5所示,本申请实施例中,上述步骤S20中对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流,具体包括如下步骤S201-S202:
S201、对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面。
本实施例中,上述对应于直播观看者的观测点的信息包括全景视角的位置和朝向。本实施例中,云渲染服务器分别调用不同的全景相机插件进行不同直播观看者观测点的全景画面的渲染。
示例性地,云渲染服务器读取应用描述文件中所设置的直播参数,按照直播参数渲染生成不同全景视场角(位置不同和/或朝向不同)下虚拟场景的全景画面。
S202、对所述全景画面和对应的音频数据进行采集和编码,得到全景视频流作为所述第一视频流。
本实施例中可以是从该应用进程对应的虚拟声卡或者是音频驱动中获取对应的音频数据,对全景画面和对应的音频数据进行编码和同步处理以后得到全景视频流,即上述的第一视频流。
本实施例,将第一视频流发送至视频源服务器,该第一视频流中携带有其所对应的全景视角或者观测点的信息,进而直播观看者可以选择不同全景视角(比如,选择多个上帝视角中的某一个)或者是观测点进行观看虚拟直播场景的全景画面。
本申请一具体实施例中,参照图6所示,上述方法在实现时,上述步骤S201具体包括如下步骤S201':
S201'、控制应用进程加载与所述观测点对应的全景相机插件对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面。
本实施例中,云渲染服务器通过应用进程加载全景相机插件实现对指定全景视角下的全景画面的渲染,生成不同全景视角下的全景画面。
在所述步骤S201'之后,还包括如下步骤S2011'-S2012':
S2011'、通过所述应用进程对所述全景画面进行投影,得到所述全景画面的二维纹理数据。
本实施例中,上述可以是通过将全景画面进行投影至六个面的立方体纹理上或者是五个面的立方体纹理上,将其转换成二维纹理。
S2012'、将所述二维纹理数据存储至位于显存中的所述应用进程所对应的纹理数据存储区,并通知直播推流模块对所述纹理数据进行编码。
本实施例中,在将全景画面转换成二维纹理以后,查找显存中是否已经存在有该应用进程对应的纹理数据存储区,如果存在,则将该二维纹理存储至纹理数据存储区;如果不存在,则创建该应用进程对应的纹理数据存储区,生成该纹理数据存储区中存储的纹理数据所对应的纹理句柄,并在内存中创建该应用进程对应的句柄存储区,将该纹理句柄存储于该句柄存储区。
本实施例中,上述步骤S202中所述对所述全景画面和对应的音频数据进行采集编码,得到所述第一视频流,具体包括如下步骤S2021'-S2022':
S2021'、通过所述直播推流模块从位于内存中的所述应用进程对应的句柄存储区获取所述纹理数据的纹理句柄,根据所述纹理句柄从所述纹理数据存储区获取所述纹理数据进行编码。
本实施例中,直播推流模块作为独立于应用进程之外的进程,可以直接根据纹理句柄在显存中对纹理数据进行硬件编码,无需将纹理数据从显存拷贝到内存,再由内存拷贝到显存,进而十分显著地降低了编码时间开销,降低了编码延迟。
S2022'、采集对应的音频进行编码,根据编码后的音频和纹理数据得到所述第一视频流。
本申请一可能的实施例中,上述方法中,步骤S30、将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至直播观看者终端进行播放,包括如下步骤S301-S302:
S301、获取适配所述直播操控者当前视场角的第二视频流。
S302、将所述第一视频流以及所述第二视频流作为待进行直播的视频流发送至视频源服务器,由所述视频源服务器下发至直播观看者终端进行播放。
其中,所述第一视频流和所述第二视频流分别携带有对应标识;示例性地,所述第一视频流中携带有其所对应的观测点的信息,所述第二视频流中携带有其所对应的视场角信息。
本实施例中,云渲染服务器将该第二视频流与第一视频流发送至视频源服务器,进而本实施例中直播观看者能够选择观看操控者视场角下的视频。
示例性地,该获取的第二视频流是从应用进程的编码器直接获取的编码后的第二视频流。
或者该下发至视频源服务器的第二视频流是通过上述直播推流模块对由直播推流模块获取的由应用进程渲染得到的操控者视场角下的场景画面编码后得到的,该方式得到的第二视频流的编码参数可以是与下发至操控者终端的第二视频流的编码参数不同。
图7是本发明一示例性实施例示出的一种虚拟场景的直播装置的结构示意图;参照图7所示,本申请实施例中提供的一种虚拟场景的直播装置400,包括:
生成模块401,用于响应于直播操控者的操控行为生成虚拟直播场景;
第一渲染模块402,用于对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;
第一发送模块403,用于将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
可选地,上述的生成模块401,具体用于:
获取所述直播操控者的操控行为数据;
响应于所述操控行为数据生成虚拟直播场景,在所述虚拟直播场景中创建对应于所述直播操控者的虚拟角色,将所述直播操控者的操控行为数据映射到所述虚拟角色。
可选地,上述装置,还包括:
第二渲染模块(图中未示出),用于对所述虚拟直播场景进行渲染,得到适配所述直播操控者当前视场角的第二视频流;
第二发送模块(图中未示出),用于将所述第二视频流发送至所述直播操控者终端进行播放。
可选地,若所述直播操控者的数量为多个,则所述第二渲染模块,具体用于:
对所述虚拟直播场景进行渲染得到适配每个所述直播操控者当前视场角的第二视频流;
所述第二发送模块,具体用于:
将所述第二视频流分别发送至对应的目标直播操控者终端进行播放。
可选地,所述观测点的数量为一个或者多个,若所述观测点的数量为多个,则多个所述观测点对应于所述虚拟直播场景中的位置和/或观看视角的朝向不同。
可选地,所述装置400,还包括:
第一获取模块,用于获取所述直播观看者的当前视场角信息,根据所述直播观看者的当前视场角信息得到所述观测点信息。
可选地,上述直播装置400还包括:
第二获取模块(图中未示出),获取已配置的所述直播观看者的观测点信息。
可选地,上述第一渲染模块402,包括:
渲染单元,用于对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面;
采集和编码单元,用于对所述全景画面和对应的音频数据进行采集和编码,得到全景视频流作为所述第一视频流。
可选地,上述渲染单元,具体用于:
控制应用进程加载与所述观测点对应的全景相机插件对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面。
可选地,上述第二发送模块,具体用于:
获取适配所述直播操控者当前视场角的第二视频流;
将所述第一视频流以及所述第二视频流作为待进行直播的视频流发送至视频源服务器,由所述视频源服务器下发至直播观看者终端进行播放;
其中,所述第一视频流中携带有其所对应的观测点的信息,所述第二视频流中携带有其所对应的视场角信息。
图8是本发明一示例性实施例示出的一种虚拟场景的直播系统的示意图;参照图8所示,本申请实施例中提供的一种虚拟场景的直播系统,所述系统包括:操控者终端20和云渲染服务器10;操控者终端20用于上传直播操控者当前视场角信息至云渲染服务器10;云渲染服务器10用于响应于直播操控者的操控行为生成虚拟直播场景;对该虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;将该第一视频流发送至视频源服务器40,由视频源服务器40下发至接入的直播观看者终端进行播放。
操控者终端20还用于上传操控者当前视场角信息至云渲染服务器10,上述云渲染服务器10还用于对所述虚拟直播场景进行渲染,得到适配所述直播操控者当前视场角的第二视频流;将所述第二视频流发送至所述直播操控者终端20进行播放。
上述云渲染服务器可以是独立的服务器或者是服务器集群。
上述动捕设备30用于捕捉所述操控者的动作数据将所述动作数据直接上传至云渲染服务器或者经由动捕服务器上传至云渲染服务器10。
一可选的实施例中,云渲染服务器也可以是将第一视频流发送至转码服务器,由转码服务器对第一视频流进行切片,即转码服务器将第一视频流分割为有限的视频片,每个视频片覆盖一定的视角范围,转码服务器将视频片输出到视频源服务器中,直播观看者终端根据用户当前视场角,从视频源服务器中获取视频片,将视频片拼接成完整画面向用户显示;如此可以降低时延。
本系统实现了在比如虚拟演唱会和虚拟教学等的场景下,演唱者或者老师能够让观看者观看指定视场角下演唱会或者教学过程。
本实施例中,上述系统中的云渲染服务器用于按照上述各直播方法的实施例中的步骤进行实现虚拟场景的直播,详见上述各实施例中的描述。
本发明另一实施例中还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例中所述的云游戏直播方法的步骤。
本申请实施例中,通过生成对应于操控者当前视场角的视频流和对应于直播观看者的视场角的视频流,并将各自生成的视频流对应发送至操控者终端或者视频源服务器,实现了操控者在实时观看应用场景画面的同时,直播观看者能够在指定视场角下进行观看虚拟场景的直播。
图9是本发明一示例性实施例示出的一种计算机设备的结构示意图;本发明实施例中提供的一种电子设备,如图9所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信;
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现上述任一实施例中所述的直播方法的步骤;以通过生成对应于操控者当前视场角的视频流和对应于直播观看者的观测点的视频流,并将各自生成的视频流对应发送至操控者终端或者视频源服务器,实现了操控者在实时观看应用场景画面的同时,直播观看者能够在指定视场角下进行观看虚拟场景的直播。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部磁盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (13)

1.一种虚拟场景的直播方法,其特征在于,所述方法应用于云渲染服务器,所述方法包括:
响应于直播操控者的操控行为生成虚拟直播场景;
对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;
将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
2.根据权利要求1所述的方法,其特征在于,所述响应于直播操控者的操控行为生成虚拟直播场景,包括:
获取所述直播操控者的操控行为数据;
响应于所述操控行为数据生成虚拟直播场景,在所述虚拟直播场景中创建对应于所述直播操控者的虚拟角色,将所述直播操控者的操控行为数据映射到所述虚拟角色。
3.根据权利要求1或2所述的方法,其特征在于,所述方法,还包括:
对所述虚拟直播场景进行渲染,得到适配所述直播操控者当前视场角的第二视频流;
将所述第二视频流发送至所述直播操控者终端进行播放。
4.根据权利要求3所述的方法,其特征在于,若所述直播操控者的数量为多个,则所述对所述虚拟直播场景渲染得到适配所述直播操控者当前视场角的第二视频流,包括:
对所述虚拟直播场景进行渲染得到适配每个所述直播操控者当前视场角的第二视频流;
所述将所述第二视频流发送至直播操控者终端进行播放,包括:
将所述第二视频流分别发送至对应的目标直播操控者终端进行播放。
5.根据权利要求1或2所述的方法,其特征在于,所述观测点的数量为一个或者多个;
若所述观测点的数量为多个,则多个所述观测点对应于所述虚拟直播场景中的位置和/或观看视角的朝向不同。
6.根据权利要求1或2所述的方法,其特征在于,在所述对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流之前,所述方法还包括:
获取所述直播观看者的当前视场角和对应于所述虚拟直播场景中的位置,根据所述直播观看者的当前视场角和对应于所述虚拟直播场景中的位置得到所述观测点的信息。
7.根据权利要求1或2所述的方法,其特征在于,在所述对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流之前,所述方法还包括:
获取已配置的所述直播观看者观测点的信息。
8.根据权利要求1或2所述的方法,其特征在于,所述对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流,包括:
对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面;
对所述全景画面和对应的音频数据进行采集和编码,得到全景视频流作为所述第一视频流。
9.根据权利要求8所述的方法,其特征在于,所述对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面,包括:
控制应用进程加载与所述观测点对应的全景相机插件对所述虚拟直播场景进行渲染,得到对应于所述直播观看者观测点的全景画面。
10.根据权利要求3所述的方法,其特征在于,所述将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至直播观看者终端进行播放,包括:
获取适配所述直播操控者当前视场角的第二视频流;
将所述第一视频流以及所述第二视频流作为待进行直播的视频流发送至视频源服务器,由所述视频源服务器下发至直播观看者终端进行播放;
其中,所述第一视频流和所述第二视频流分别携带有对应标识。
11.一种虚拟场景的直播装置,其特征在于,所述装置应用于云渲染服务器,
包括:
生成模块,用于响应于直播操控者的操控行为生成虚拟直播场景;
渲染模块,用于对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;
第一发送模块,用于将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
12.一种虚拟场景的直播系统,其特征在于,所述系统包括:操控端和云渲染服务器;
所述操控终端用于上传直播操控者的操控行为数据;
所述云渲染服务器用于响应于直播操控者的操控行为生成虚拟直播场景;对所述虚拟直播场景进行渲染,得到对应于直播观看者观测点的第一视频流;将所述第一视频流发送至视频源服务器,由所述视频源服务器下发至接入的直播观看者终端进行播放。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-10任一所述方法的步骤。
CN202010900901.1A 2020-08-31 2020-08-31 一种虚拟场景的直播方法、装置及系统 Active CN112235585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900901.1A CN112235585B (zh) 2020-08-31 2020-08-31 一种虚拟场景的直播方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900901.1A CN112235585B (zh) 2020-08-31 2020-08-31 一种虚拟场景的直播方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112235585A true CN112235585A (zh) 2021-01-15
CN112235585B CN112235585B (zh) 2022-11-04

Family

ID=74115818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900901.1A Active CN112235585B (zh) 2020-08-31 2020-08-31 一种虚拟场景的直播方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112235585B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286021A (zh) * 2021-12-24 2022-04-05 北京达佳互联信息技术有限公司 渲染方法、装置、服务器、存储介质及程序产品
CN114513682A (zh) * 2022-02-17 2022-05-17 北京达佳互联信息技术有限公司 多媒体资源展示方法、发送方法、装置、设备及介质
CN114900678A (zh) * 2022-07-15 2022-08-12 北京蔚领时代科技有限公司 一种vr端端云结合的虚拟演唱会渲染方法及系统
CN114928767A (zh) * 2022-05-19 2022-08-19 湖南快乐阳光互动娱乐传媒有限公司 渲染虚拟现实vr眼镜可视化的方法及相关设备
CN115086696A (zh) * 2022-06-07 2022-09-20 北京蔚领时代科技有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN115174954A (zh) * 2022-08-03 2022-10-11 抖音视界有限公司 视频直播方法、装置、电子设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127844A (zh) * 2016-06-22 2016-11-16 民政部零研究所 移动终端用户实时交互访问远程3d场景的渲染交互方法
CN106803966A (zh) * 2016-12-31 2017-06-06 北京星辰美豆文化传播有限公司 一种多人网络直播方法、装置及其电子设备
CN107071557A (zh) * 2017-04-27 2017-08-18 中兴通讯股份有限公司 一种播放视频的方法和设备
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127844A (zh) * 2016-06-22 2016-11-16 民政部零研究所 移动终端用户实时交互访问远程3d场景的渲染交互方法
CN106803966A (zh) * 2016-12-31 2017-06-06 北京星辰美豆文化传播有限公司 一种多人网络直播方法、装置及其电子设备
CN107071557A (zh) * 2017-04-27 2017-08-18 中兴通讯股份有限公司 一种播放视频的方法和设备
CN110557625A (zh) * 2019-09-17 2019-12-10 北京达佳互联信息技术有限公司 虚拟形象直播方法、终端、计算机设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286021A (zh) * 2021-12-24 2022-04-05 北京达佳互联信息技术有限公司 渲染方法、装置、服务器、存储介质及程序产品
CN114286021B (zh) * 2021-12-24 2024-05-28 北京达佳互联信息技术有限公司 渲染方法、装置、服务器、存储介质及程序产品
CN114513682A (zh) * 2022-02-17 2022-05-17 北京达佳互联信息技术有限公司 多媒体资源展示方法、发送方法、装置、设备及介质
CN114928767A (zh) * 2022-05-19 2022-08-19 湖南快乐阳光互动娱乐传媒有限公司 渲染虚拟现实vr眼镜可视化的方法及相关设备
CN115086696A (zh) * 2022-06-07 2022-09-20 北京蔚领时代科技有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN115086696B (zh) * 2022-06-07 2023-11-10 北京蔚领时代科技有限公司 一种视频播放控制方法、装置、电子设备及存储介质
CN114900678A (zh) * 2022-07-15 2022-08-12 北京蔚领时代科技有限公司 一种vr端端云结合的虚拟演唱会渲染方法及系统
CN114900678B (zh) * 2022-07-15 2022-09-30 北京蔚领时代科技有限公司 一种vr端端云结合的虚拟演唱会渲染方法及系统
WO2024012459A1 (zh) * 2022-07-15 2024-01-18 北京蔚领时代科技有限公司 一种vr端端云结合的虚拟演唱会渲染方法及系统
CN115174954A (zh) * 2022-08-03 2022-10-11 抖音视界有限公司 视频直播方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
CN112235585B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN112235585B (zh) 一种虚拟场景的直播方法、装置及系统
US10805593B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
EP3151548A1 (en) Video recording method and device
EP3691280B1 (en) Video transmission method, server, vr playback terminal and computer-readable storage medium
US11153615B2 (en) Method and apparatus for streaming panoramic video
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
US11539983B2 (en) Virtual reality video transmission method, client device and server
WO2016009865A1 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
EP3343349A1 (en) An apparatus and associated methods in the field of virtual reality
JP6860485B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20180020248A1 (en) Method and apparatus for streaming video content
KR102566276B1 (ko) 원격 단말을 위한 몰입형 원격 회의 및 텔레프레즌스를 위한 오버레이 처리용 파라미터
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
CN107835435B (zh) 一种赛事宽视角直播设备和相关联的直播系统和方法
JPWO2019078033A1 (ja) 再生装置および方法、並びに、生成装置および方法
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN109862385B (zh) 直播的方法、装置、计算机可读存储介质及终端设备
CN109872400B (zh) 一种全景虚拟现实场景的生成方法
CN112153472A (zh) 一种画面特效的生成方法及装置、存储介质及电子设备
WO2018234622A1 (en) METHOD OF DETECTING EVENTS OF INTEREST
WO2020250726A1 (ja) 画像処理装置および画像処理方法
KR20230067790A (ko) 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법
CN113676731A (zh) 压缩vr视频数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant