CN109120990A - 直播方法、装置和存储介质 - Google Patents

直播方法、装置和存储介质 Download PDF

Info

Publication number
CN109120990A
CN109120990A CN201810887111.7A CN201810887111A CN109120990A CN 109120990 A CN109120990 A CN 109120990A CN 201810887111 A CN201810887111 A CN 201810887111A CN 109120990 A CN109120990 A CN 109120990A
Authority
CN
China
Prior art keywords
data
target
live
dimensional
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810887111.7A
Other languages
English (en)
Other versions
CN109120990B (zh
Inventor
朱康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810887111.7A priority Critical patent/CN109120990B/zh
Publication of CN109120990A publication Critical patent/CN109120990A/zh
Application granted granted Critical
Publication of CN109120990B publication Critical patent/CN109120990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种直播方法、装置和存储介质,该方法包括:获取待直播数据,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;根据目标场景数据、目标对象数据、以及待直播数据对应的目标三维模型,获取待直播数据对应的三维影像;采用全息投影技术,将三维影像投影至实际环境中。本发明通过直播方法获取待直播数据对应的三维影像,并将三维影像投影在实际环境中,使得用户能够观看三维的直播画面,给用户带来了身临其境的体验。

Description

直播方法、装置和存储介质
技术领域
本发明涉及全息投影技术领域,尤其涉及一种直播方法、装置和存储介质。
背景技术
直播技术是将正在发生的事件以视频的形式展示给用户观看的技术,如体育赛事的直播使得用户可以观看到正在进行的体育比赛;游戏直播使得用户可以实时观看到游戏中各种角色的竞技过程。
现有的相关技术中,在进行直播时,直播设备可以从服务器中实时获取待直播的数据,如可以是现场录制的影音数据,也可以是游戏玩家的游戏数据;并通过直播设备的显示装置(例如大屏幕)播放出来,使得用户可以通过该显示装置观看直播画面。
但用户在观看直播时,所看到的画面是显示装置呈现出的2D画面,无法给用户带来身临其境的体验。
发明内容
本发明提供一种直播方法、装置和存储介质,使得用户能够观看三维的直播画面,给用户带来了身临其境的体验。
本发明的第一方面提供一种直播方法,包括:
获取待直播数据,所述待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;
根据所述目标场景数据、所述目标对象数据、以及所述待直播数据对应的目标三维模型,获取所述待直播数据对应的三维影像;
采用全息投影技术,将所述三维影像投影至实际环境中。
可选的,所述根据所述目标场景数据、所述目标对象数据、以及所述目标三维模型,获取所述待直播数据对应的三维影像之前,还包括:
根据所述目标场景数据和所述目标对象数据,获取所述目标三维模型;
所述根据所述目标场景数据、所述目标对象数据、以及所述目标三维模型,获取所述待直播数据对应的三维影像,包括:
根据所述目标对象数据,获取所述目标对象的运动数据;
根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像。
可选的,所述根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像,包括:
使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像。
可选的,所述目标三维模型为游戏场景、以及所述游戏场景中的多个游戏角色对应的三维游戏模型;所述目标对象为多个游戏角色;
所述使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像,包括:
使用多个所述游戏角色对应的运动数据对所述三维游戏模型进行渲染,获取所述三维游戏模型中多个所述游戏角色交互的三维影像。
可选的,所述将所述三维影像投影至实际环境中之后,还包括:
接收用户发送的互动信息,将所述互动信息加载到投影后的三维影像中。
可选的,所述目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
可选的,所述目标三维模型为三维AR模型。
本发明的第二方面提供一种直播装置,包括:
待直播数据获取模块,用于获取待直播数据,所述待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;
三维影像获取模块,用于根据所述目标场景数据、所述目标对象数据、以及所述待直播数据对应的目标三维模型,获取所述待直播数据对应的三维影像;
投影模块,用于采用全息投影技术,将所述三维影像投影至实际环境中。
可选的,所述装置还包括:目标三维模型获取模块;
所述目标三维模型获取模块,用于根据所述目标场景数据和所述目标对象数据,获取所述目标三维模型;
所述三维影像获取模块,具体用于根据所述目标对象数据,获取所述目标对象的运动数据;
根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像。
可选的,所述三维影像获取模块,具体还用于使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像。
可选的,所述目标三维模型为游戏场景、以及所述游戏场景中的多个游戏角色对应的三维游戏模型;所述目标对象为多个游戏角色;
所述三维影像获取模块,具体还用于使用多个所述游戏角色对应的运动数据对所述三维游戏模型进行渲染,获取所述三维游戏模型中多个所述游戏角色交互的三维影像。
可选的,所述装置还包括:互动模块;
所述互动模块,用于接收用户发送的互动信息,将所述互动信息加载到投影后的三维影像中。
可选的,所述目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
可选的,所述目标三维模型为三维AR模型。
本发明的第三方面提供一种直播装置,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述直播装置执行上述直播方法。
本发明的第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现上述直播方法。
本发明提供一种直播方法、装置和存储介质,该方法包括:获取待直播数据,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;根据目标场景数据、目标对象数据、以及待直播数据对应的目标三维模型,获取待直播数据对应的三维影像;采用全息投影技术,将三维影像投影至实际环境中。本发明通过获取待直播数据对应的三维影像,并将三维影像投影在实际环境中,使得用户能够观看三维的直播画面,给用户带来了身临其境的体验。
附图说明
图1为本发明提供的直播方法适用的系统架构示意图;
图2为本发明提供的直播方法的流程示意图一;
图3为本发明提供的直播方法中的三维影像投影至实际环境中的示意图一;
图4为本发明提供的直播方法的流程示意图二;
图5为本发明提供的直播方法中的游戏玩家对应的终端上待直播画面示意图;
图6为本发明提供的直播方法中的三维影像投影至实际环境中的示意图二;
图7为本发明提供的直播装置的结构示意图一;
图8为本发明提供的直播装置的结构示意图二;
图9为本发明提供的直播装置的结构示意图三。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明的实施例,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的直播方法适用于直播系统中,图1为本发明提供的直播方法适用的系统架构示意图,如图1所示,该直播系统包括:直播装置和服务器。其中,服务器中存储有直播数据,直播数据包括已经播放过的数据、以及实时待直播的数据;示例性的,如待直播的数据为现场表演的节目时,服务器可以与现场拍摄装置连接,将拍摄装置拍摄的实时视频影像作为待直播的数据;如待直播的数据为终端中播放的画面时,如游戏比赛的实时画面、或者其他正在播放的视频时,将服务器与该终端连接,将该终端上实时播放的画面作为待直播的数据。
本实施例中的直播装置不限于为手机、个人数字助理(Personal DigitalAssistant,简称:PDA)、平板电脑、便携设备(例如,便携式计算机、袖珍式计算机或手持式计算机)等移动设备;也可以是台式计算机等固定设备。
图2为本发明提供的直播方法的流程示意图一,图2所示方法流程的执行主体可以为直播装置,该直播装置可由任意的软件和/或硬件实现。如图2所示,本实施例提供的直播方法可以包括:
S101,获取待直播数据,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据。
直播装置实时从服务器获取待直播数据,示例性的,该待直播数据可以是服务器获取的现场拍摄的实时视频影像,也可以是服务器获取的终端上播放的实时视频画面,即直播装置获取的待直播数据为正在进行的待直播的事件的数据。
其中,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;具体的,待直播的目标场景数据可以包括待直播的事件所处的目标场景、该目标场景可以包括场景中的场景装饰、场景中各物体的位置以及对应的实时音频数据等;其中,位于目标场景中的目标对象数据为位于该目标场景中的目标对象对应的数据,具体的,该目标对象可以是待直播的事件中的目标对象,该目标对象为动态的目标对象,如正在讲话的人、正在运动的车辆、或正在竞技的游戏角色等。具体的,目标对象数据可以包括目标对象的动作数据、在目标场景中的位置数据、表情数据、特效数据等。
其中,实时音频数据可以包括场景音频数据以及目标对象的音频数据,示例性的,场景音频数据可以为背景音乐、背景解说音频等;目标对象的音频数据可以包括目标对象说话音频以及目标对象的特效音乐等。本实施例中对实时音频数据的种类以及具体的形式不做限制。
示例性的,待直播数据为直播装置从服务器中获取的现场拍摄的实时视频影像,该实时视频影像为在一舞台上拍摄的一个主持人的主持过程。其中,待直播的目标场景数据为该舞台的数据,如舞台的中心位置有一把椅子,该椅子的颜色是红色等数据;位于目标场景中的目标对象数据中的目标对象为在该舞台上坐在这把椅子上的主持人,该目标对象数据还包括主持人的动作数据、表情数据以及主持人讲话对应的音频数据。具体的,本实施例中的场景音频数据可以是正在播放的与主持人讲话内容基调相似的背景音乐音频数据。
S102,根据目标场景数据、目标对象数据、以及待直播数据对应的目标三维模型,获取待直播数据对应的三维影像。
直播装置中预先存储有预先建立的多个三维模型,其中,该三维模型为场景和对象共同所对应的模型。示例性的,如一三维模型为在A舞台上B对象的三维模型,只不过该预先建立的多个三维模型是静态的模型。在直播装置获取目标场景数据、目标对象数据后,根据目标场景以及目标对象获取对应的待直播数据对应的目标三维模型。
直播装置再将实时获取的待直播数据对该目标三维模型进行渲染,即可获取待直播数据对应的三维影像,具体的,本实施例中可以但不限于采用现有技术中的渲染技术获取三维影像。示例性的,如待直播数据中的目标场景数据和目标对象数据发生了变化,直播装置可以在预先存储的多个三维模型中查找对应的目标三维模型。
如当前待直播数据是场景是B对象在A舞台上进行唱歌的数据,直播装置在预先建立的多个三维模型中获取在A舞台上B对象的三维模型,再将获取的B对象的唱歌数据对该A舞台上B对象的三维模型进行渲染,获取三维影像;一段时间后,待直播数据是场景是B对象和C对象在A舞台上进行合唱的数据,直播装置需要在预先建立的多个三维模型中获取在A舞台上B对象和C对象的三维模型,再将获取的B对象和C对象的合唱数据对该A舞台上B对象和C对象的三维模型进行渲染,获取三维影像。
本实施例中,在播放目标场景数据和目标对象数据时,为了使得获取的三维影像具有更好的效果,需要将目标对象对应的动作数据等与相应的音频数据进行同步;另外,为了更好的获取三维影像的显示效果,还可以对目标场景数据和目标对象数据进行均匀帧率的处理。
S103,采用全息投影技术,将三维影像投影至实际环境中。
本实施例中,采用全息投影技术(front-projected holographic display),对获取的三维影像投影至实际环境中。全息投影技术也称虚拟成像技术,是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。具体的,本实施例提供的直播装置可以是具有全息投影功能的装置。
现有的相关技术中,将该待直播的数据在具有显示屏的装置上播放,用户看到的是显示屏上的2D画面,不具有身临其境的体验。示例性的,图3为本发明提供的直播方法中的三维影像投影至实际环境中的示意图一,如图3所示,其中的目标场景为演唱会,目标对象是D明星,待直播数据是在D明星在演唱会的舞台上进行演唱的数据。由于演唱会的演唱厅特别大,现有技术中后排的观众只能通过大屏幕观看D明星在进行演唱的过程,通过本实施例提供的直播方法,直播装置获取待直播的三维影像,采用全息投影技术,将D明星在进行演唱的过程投影在演唱会的空中,使得离舞台较远的观众也可以观看到三维的D明星在进行演唱的过程,其中,图3中的实现部分均为实际环境,而采用全息投影技术在空中的D明星在进行演唱为虚线表示。
本实施例中提供的直播方法包括:获取待直播数据,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;根据目标场景数据、目标对象数据、以及待直播数据对应的目标三维模型,获取待直播数据对应的三维影像;采用全息投影技术,将三维影像投影至实际环境中。本发明通过获取待直播数据对应的三维影像,并将三维影像投影在实际环境中,使得用户能够观看三维的直播画面,给用户带来了身临其境的体验。
下面结合图4对本发明提供的直播方法进行进一步说明,图4为本发明提供的直播方法的流程示意图二,如图4所示,本实施例提供的直播方法可以包括:
S201,获取待直播数据。
本实施例中直播装置获取待直播数据的具体方式可参照上述实施例中的S101中的相关描述,在此不做赘述。
S202,根据目标场景数据和目标对象数据,获取目标三维模型。
本实施例中,若待直播数据对应的目标场景数据中的目标场景、以及目标对象数据中的目标对象不发生变化时,即直播装置在获取待直播数据前便可确定待直播数据对应的目标三维模型,如待直播数据一直是一个主持人在舞台上进行主持的数据,即相应的目标场景数据中的目标场景、以及目标对象数据中的目标对象不发生变化,该直播装置即可预先获取目标三维模型。
但大部分的应用场景中,待直播数据对应的目标场景数据中的目标场景、以及目标对象数据中的目标对象都是发生变化的,如游戏竞技中,当前待直播数据对应的目标场景数据中的目标场景可能是在草地上,目标对象数据中的目标对象为M对象和N对象;下一个待直播数据对应的目标场景数据中的目标场景很可能转换成室内,而目标数据中的目标对象为M对象、N对象和X对象。因此,直播装置需要根据待直播数据,获取相应的目标三维模型。
具体的,可以根据目标场景数据,确定目标场景,根据目标对象数据,确定目标对象,再根据目标场景和目标对象,获取目标三维模型。示例性的,直播装置可以对预先存储的多个三维模型中的每个三维模型进行标识,具体的标识为该每个三维模型对应的场景名称和对象名称。示例性的,表一为直播装置中存储的多个三维模型的标识列表。其中,示例性的以字母的方式进行区别每个三维模型对应的场景名称和对象名称。
表一
编号 场景名称 对象名称
1 A a+b
2 A a+b+c
3 B a+b+c
4 C a+b
示例性的,如表一所示,直播装置根据目标场景数据,确定目标场景为A,根据目标对象数据,确定目标对象为a、b,因此,根据目标场景A和目标对象a、b,获取目标三维模型为1。
其中,本实施例中的多个三维模型为三维AR模型,具体的,目标三维模型为三维AR模型。
S203,根据目标对象数据,获取目标对象的运动数据。
本实施例中,目标对象数据中可以包括目标对象的标识以及目标对象的运动数据,具体的,目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
例如,在待直播装置获取目标对象数据时,该目标对象数据可以是现场拍摄的影像数据,具体的,直播装置可以通过以下方式获取目标对象中的表情数据、动作数据、特效数据。
具体的,可以通过下述方法获取目标对象的表情数据:在目标对象是人或动物的情况下,可以根据影像数据中目标对象面部的图像,并分析该图像,定位该图像上采集对象的面部特征位置,然后根据面部特征位置确定获取目标对象的面部表情运动轨迹即表情数据。其中,面部特征位置可以包括以下至少之一:面部整体轮廓的位置,眼睛的位置,幢孔的位置,鼻子的位置,嘴的位置,眉毛的位置。
再比如,可以通过下述方法获取目标对象的动作数据:将当前影像画面作为一个固定的坐标系,获取目标对象各个位置在该当前影像画面的坐标,以各位置在该坐标中的变化获取目标对象的动作数据,其中,各个位置为可以为目标对象的四肢、头部等。
可选的,可以通过下述方法获取目标对象的特效数据:本实施例中,获取的待直播数据为正在终端上播放影像的数据时,如正在竞技的游戏画面,在游戏角色竞技的过程中包含有多个特效动作,具体的,该特效动作可以是游戏玩家在键盘上点击相应的案件产生,也可以是游戏玩家操作相应的游戏装置如游戏手柄、游戏杆等产生,具体的,本实施例中将游戏玩家产生特效使用的装置称为外部设备。具体的,直播装置在获取终端上正在播放的影像的数据同时,还可以获取外部设备的数据,直播装置将对应的外部设备数据转化为目标对象的特效数据。
S204,根据目标三维模型、目标对象的运动数据,获取待直播数据对应的三维影像。
本实施例中,使用目标对象的运动数据,对目标三维模型进行渲染,获取待直播数据对应的三维影像。
具体的,本实施例中的目标三维模型为游戏场景、以及游戏场景中的多个游戏角色对应的三维游戏模型;目标对象为多个游戏角色。在直播装置中预先存储有多个三维游戏模型,在从服务器中获取待直播数据,根据待直播数据中的目标场景数据和目标对象数据,获取目标对象对应的目标场景以及目标对象,根据目标场景和目标对象,在多个三维游戏模型中获取三维目标游戏模型。
使用多个游戏角色对应的运动数据对三维游戏模型进行渲染,获取三维游戏模型中多个游戏角色交互的三维影像。
S205,将三维影像投影至实际环境中。
具体的,本实施例中将三维影像投影至实际环境中的方式具体可参照上述实施例中的S103中的相关描述,在此不做赘述。
图5为本发明提供的直播方法中的游戏玩家对应的终端上待直播画面示意图,图6为本发明提供的直播方法中的三维影像投影至实际环境中的示意图二,如图5-图6所示,游戏玩家对应的终端上待直播画面显示的是一卡通人物飞行的画面,直播装置获取该待直播的一卡通人物飞行的画面对应的三维影像,再将该三维影像投影至实际环境中。
如图6所示,实线标识的为现场观看游戏直播的实际存在的观众,虚线表示的为本实施例中的直播装置获取的该待直播的一卡通人物飞行的画面对应的三维影像的投影结果。现场观众可以观看到三维游戏画面的直播,使得用户具有身临其境的体验。
S206,接收用户发送的互动信息,将互动信息加载到投影后的三维影像中。
本实施例中提供的直播装置可以接受用户发送的互动信息,具体的,该互动信息可以是文字、表情或者语音等数据。直播装置将互动信息加载到投影后的三维影像中。
示例性的,现场观众观看到三维游戏的直播时,想要为参加比赛的一方加油,可以发送相应的文字至直播装置,直播装置将该文字加载到如图5所示的三维游戏的直播画面中。
相应的,直播装置可以将用户发送的互动信息发送给服务器,使得服务器将该互动信息加载至正在进行游戏竞技的游戏玩家的终端的界面上,使得游戏玩家和现场观众可以进行互动,进一步提高了用户体验。
本实施例中,根据待直播数据中的目标场景数据的目标对象数据获取目标三维模型,并使用目标对象数据中的运动数据对该目标三维模型进行渲染,使得该目标三维模型具有与该目标对象数据相同的运动,因此获取三维影像数据,进而将该影像数据采用全息投影的技术投影至实际环境中,使得用户具有身临其境的体验;进一步的,还接收用户发送的互动信息,将互动信息加载到投影后的三维影像中,实现了与现场观众的互动进一步提高了用户体验。
图7为本发明提供的直播装置的结构示意图一,如图7所示,该直播装置300包括:待直播数据获取模块301、三维影像获取模块302和投影模块303。
待直播数据获取模块301,用于获取待直播数据,待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据。
三维影像获取模块302,用于根据目标场景数据、目标对象数据、以及待直播数据对应的目标三维模型,获取待直播数据对应的三维影像。
投影模块303,用于采用全息投影技术,将三维影像投影至实际环境中。
本实施例提供的直播装置与上述直播方法实现的原理和技术效果类似,在此不作赘述。
可选的,图8为本发明提供的直播装置的结构示意图二,如图8所示,该直播300还包括:目标三维模型获取模块304、互动模块305。
目标三维模型获取模块304,用于根据目标场景数据和目标对象数据,获取目标三维模型。
互动模块305,用于接收用户发送的互动信息,将互动信息加载到投影后的三维影像中。
可选的,三维影像获取模块302,具体用于根据目标对象数据,获取目标对象的运动数据;
根据目标三维模型、目标对象的运动数据,获取待直播数据对应的三维影像。
可选的,三维影像获取模块302,具体还用于使用目标对象的运动数据,对目标三维模型进行渲染,获取待直播数据对应的三维影像。
可选的,目标三维模型为游戏场景、以及游戏场景中的多个游戏角色对应的三维游戏模型;目标对象为多个游戏角色。
三维影像获取模块302,具体还用于使用多个游戏角色对应的运动数据对三维游戏模型进行渲染,获取三维游戏模型中多个游戏角色交互的三维影像。
可选的,目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
可选的,目标三维模型为三维AR模型。
图9为本发明提供的直播装置的结构示意图三,该直播例如可以是终端设备,比如智能手机、平板电脑、计算机等。如图9所示,该直播400包括:存储器401和至少一个处理器402。
存储器401,用于存储程序指令。
处理器402,用于在程序指令被执行时实现本实施例中的直播方法,具体实现原理可参见上述实施例,本实施例此处不再赘述。
该直播400还可以包括及输入/输出接口403。
输入/输出接口403可以包括独立的输出接口和输入接口,也可以为集成输入和输出的集成接口。其中,输出接口用于输出数据,输入接口用于获取输入的数据,上述输出的数据为上述方法实施例中输出的统称,输入的数据为上述方法实施例中输入的统称。
本发明还提供一种可读存储介质,可读存储介质中存储有执行指令,当直播装置的至少一个处理器执行该执行指令时,当计算机执行指令被处理器执行时,实现上述实施例中的直播方法。
本发明还提供一种程序产品,该程序产品包括执行指令,该执行指令存储在可读存储介质中。直播装置的至少一个处理器可以从可读存储介质读取该执行指令,至少一个处理器执行该执行指令使得直播装置实施上述的各种实施方式提供的直播方法。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取存储器(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在上述网络设备或者终端设备的实施例中,应理解,处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:ApplicationSpecific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种直播方法,其特征在于,包括:
获取待直播数据,所述待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;
根据所述目标场景数据、所述目标对象数据、以及所述待直播数据对应的目标三维模型,获取所述待直播数据对应的三维影像;
采用全息投影技术,将所述三维影像投影至实际环境中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标场景数据、所述目标对象数据、以及所述目标三维模型,获取所述待直播数据对应的三维影像之前,还包括:
根据所述目标场景数据和所述目标对象数据,获取所述目标三维模型;
所述根据所述目标场景数据、所述目标对象数据、以及所述目标三维模型,获取所述待直播数据对应的三维影像,包括:
根据所述目标对象数据,获取所述目标对象的运动数据;
根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像,包括:
使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像。
4.根据权利要求3所述的方法,其特征在于,所述目标三维模型为游戏场景、以及所述游戏场景中的多个游戏角色对应的三维游戏模型;所述目标对象为多个游戏角色;
所述使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像,包括:
使用多个所述游戏角色对应的运动数据对所述三维游戏模型进行渲染,获取所述三维游戏模型中多个所述游戏角色交互的三维影像。
5.根据权利要求1所述的方法,其特征在于,所述将所述三维影像投影至实际环境中之后,还包括:
接收用户发送的互动信息,将所述互动信息加载到投影后的三维影像中。
6.根据权利要求2所述的方法,其特征在于,所述目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
7.根据权利要求1-6任一项所述的方法,其特征在于,
所述目标三维模型为三维AR模型。
8.一种直播装置,其特征在于,包括:
待直播数据获取模块,用于获取待直播数据,所述待直播数据包括待直播的目标场景数据、以及位于目标场景中的目标对象数据;
三维影像获取模块,用于根据所述目标场景数据、所述目标对象数据、以及所述待直播数据对应的目标三维模型,获取所述待直播数据对应的三维影像;
投影模块,用于采用全息投影技术,将所述三维影像投影至实际环境中。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:目标三维模型获取模块;
所述目标三维模型获取模块,用于根据所述目标场景数据和所述目标对象数据,获取所述目标三维模型;
所述三维影像获取模块,具体用于根据所述目标对象数据,获取所述目标对象的运动数据;
根据所述目标三维模型、所述目标对象的运动数据,获取所述待直播数据对应的三维影像。
10.根据权利要求9所述的装置,其特征在于,
所述三维影像获取模块,具体还用于使用所述目标对象的运动数据,对所述目标三维模型进行渲染,获取所述待直播数据对应的三维影像。
11.根据权利要求10所述的装置,其特征在于,所述目标三维模型为游戏场景、以及所述游戏场景中的多个游戏角色对应的三维游戏模型;所述目标对象为多个游戏角色;
所述三维影像获取模块,具体还用于使用多个所述游戏角色对应的运动数据对所述三维游戏模型进行渲染,获取所述三维游戏模型中多个所述游戏角色交互的三维影像。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:互动模块;
所述互动模块,用于接收用户发送的互动信息,将所述互动信息加载到投影后的三维影像中。
13.根据权利要求9所述的装置,其特征在于,所述目标对象对应的运动数据为表情数据、动作数据、特效数据中的一种或多种。
14.根据权利要求8-13任一项所述的装置,其特征在于,
所述目标三维模型为三维AR模型。
15.一种直播装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述直播装置执行权利要求1-7任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机执行指令,当所述计算机执行指令被处理器执行时,实现权利要求1-7任一项所述的方法。
CN201810887111.7A 2018-08-06 2018-08-06 直播方法、装置和存储介质 Active CN109120990B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810887111.7A CN109120990B (zh) 2018-08-06 2018-08-06 直播方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810887111.7A CN109120990B (zh) 2018-08-06 2018-08-06 直播方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN109120990A true CN109120990A (zh) 2019-01-01
CN109120990B CN109120990B (zh) 2021-10-15

Family

ID=64852976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810887111.7A Active CN109120990B (zh) 2018-08-06 2018-08-06 直播方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN109120990B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
CN111640204A (zh) * 2020-05-14 2020-09-08 广东小天才科技有限公司 三维对象模型的构建方法、构建装置、电子设备及介质
CN112295224A (zh) * 2020-11-25 2021-02-02 广州博冠信息科技有限公司 三维特效生成方法及装置、计算机存储介质、电子设备
WO2021088973A1 (zh) * 2019-11-07 2021-05-14 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
CN114270255A (zh) * 2019-08-26 2022-04-01 光场实验室公司 用于体育项目的光场显示系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194863A1 (en) * 2009-02-02 2010-08-05 Ydreams - Informatica, S.A. Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN102784479A (zh) * 2011-05-20 2012-11-21 德信互动科技(北京)有限公司 全息投影体感互动系统和方法
CN103083901A (zh) * 2011-10-31 2013-05-08 北京德信互动网络技术有限公司 全息投影体感互动系统和方法
US8890931B2 (en) * 2010-08-26 2014-11-18 City University Of Hong Kong Fast generation of holograms
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106991699A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 控制方法及电子设备
CN107437272A (zh) * 2017-08-31 2017-12-05 深圳锐取信息技术股份有限公司 基于增强现实的互动娱乐方法、装置及终端设备
CN108153425A (zh) * 2018-01-25 2018-06-12 余方 一种基于全息投影的互动娱乐系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100194863A1 (en) * 2009-02-02 2010-08-05 Ydreams - Informatica, S.A. Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8890931B2 (en) * 2010-08-26 2014-11-18 City University Of Hong Kong Fast generation of holograms
CN102784479A (zh) * 2011-05-20 2012-11-21 德信互动科技(北京)有限公司 全息投影体感互动系统和方法
CN103083901A (zh) * 2011-10-31 2013-05-08 北京德信互动网络技术有限公司 全息投影体感互动系统和方法
CN104883557A (zh) * 2015-05-27 2015-09-02 世优(北京)科技有限公司 实时全息投影方法、装置及系统
CN105939481A (zh) * 2016-05-12 2016-09-14 深圳市望尘科技有限公司 一种交互式三维虚拟现实视频节目录播和直播方法
CN106303555A (zh) * 2016-08-05 2017-01-04 深圳市豆娱科技有限公司 一种基于混合现实的直播方法、装置和系统
CN106991699A (zh) * 2017-03-31 2017-07-28 联想(北京)有限公司 控制方法及电子设备
CN107437272A (zh) * 2017-08-31 2017-12-05 深圳锐取信息技术股份有限公司 基于增强现实的互动娱乐方法、装置及终端设备
CN108153425A (zh) * 2018-01-25 2018-06-12 余方 一种基于全息投影的互动娱乐系统和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110691279A (zh) * 2019-08-13 2020-01-14 北京达佳互联信息技术有限公司 一种虚拟直播的方法、装置、电子设备及存储介质
CN114270255A (zh) * 2019-08-26 2022-04-01 光场实验室公司 用于体育项目的光场显示系统
WO2021088973A1 (zh) * 2019-11-07 2021-05-14 广州虎牙科技有限公司 直播流显示方法、装置、电子设备及可读存储介质
CN111640204A (zh) * 2020-05-14 2020-09-08 广东小天才科技有限公司 三维对象模型的构建方法、构建装置、电子设备及介质
CN111640204B (zh) * 2020-05-14 2024-03-19 广东小天才科技有限公司 三维对象模型的构建方法、构建装置、电子设备及介质
CN112295224A (zh) * 2020-11-25 2021-02-02 广州博冠信息科技有限公司 三维特效生成方法及装置、计算机存储介质、电子设备

Also Published As

Publication number Publication date
CN109120990B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US12048874B2 (en) Scaled VR engagement and views in an e-sports event
US11948260B1 (en) Streaming mixed-reality environments between multiple devices
CN109120990A (zh) 直播方法、装置和存储介质
CN105843396B (zh) 在共享的稳定虚拟空间上维持多视图的方法
US8904430B2 (en) Method and apparatus for real-time viewer interaction with a media presentation
US20120272162A1 (en) Methods and systems for virtual experiences
JP2011512054A (ja) 模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム
CN104245067A (zh) 用于增强现实的书对象
US20230245385A1 (en) Interactive method and apparatus based on virtual scene, device, and medium
Nguyen et al. Real-time 3D human capture system for mixed-reality art and entertainment
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
CN117412134A (zh) 虚拟游戏的实现方法、装置、电子设备和可读存储介质
CN110213560A (zh) 一种沉浸式视频播放方法和系统
CN115657862B (zh) 虚拟ktv场景画面自动切换的方法、装置、存储介质及设备
CN114900738B (zh) 一种观影互动方法、装置及计算机可读存储介质
CN107832366A (zh) 视频分享方法及装置、终端装置及计算机可读存储介质
CN110166825B (zh) 视频数据处理方法及装置、视频播放方法及装置
Cho et al. A Study on Entertainment Video Game Content Industry using Virtual Reality Technology
Macedonia Why digital entertainment drives the need for speed
Moneta How virtual reality is changing the way we experience stage shows
Gomide Motion capture and performance
WO2024152670A1 (zh) 虚拟场馆的生成方法、装置、设备、介质及程序产品
US20220261874A1 (en) Non-transitory computer readable medium storing event provision program and event provision system
Pike " Make it so": Communal augmented reality and the future of theatre and performance
TW202111480A (zh) 虛擬實境與擴增實境之互動系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant