CN106792246A - 一种融合式虚拟场景互动的方法及系统 - Google Patents

一种融合式虚拟场景互动的方法及系统 Download PDF

Info

Publication number
CN106792246A
CN106792246A CN201611130542.6A CN201611130542A CN106792246A CN 106792246 A CN106792246 A CN 106792246A CN 201611130542 A CN201611130542 A CN 201611130542A CN 106792246 A CN106792246 A CN 106792246A
Authority
CN
China
Prior art keywords
virtual scene
video data
data
interaction instruction
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611130542.6A
Other languages
English (en)
Other versions
CN106792246B (zh
Inventor
冯皓
林剑宇
刘灵辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Kaimi Network Science & Technology Co Ltd
Fujian Star Net eVideo Information Systems Co Ltd
Original Assignee
Fujian Kaimi Network Science & Technology Co Ltd
Fujian Star Net eVideo Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Kaimi Network Science & Technology Co Ltd, Fujian Star Net eVideo Information Systems Co Ltd filed Critical Fujian Kaimi Network Science & Technology Co Ltd
Priority to CN201611130542.6A priority Critical patent/CN106792246B/zh
Publication of CN106792246A publication Critical patent/CN106792246A/zh
Application granted granted Critical
Publication of CN106792246B publication Critical patent/CN106792246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及多媒体数据处理领域，提供了一种通过计算机网络实现在虚拟场景中进行丰富多彩，灵活方便的互动的系统与方法。所述实现在虚拟场景中互动的方法，包括步骤：实时获取摄像装置的信号，采集得到第一图像数据；从第一图像数据中提取第一对象；接收来自第一终端通过计算机网络发送的互动指令；将第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。本发明通过提取图像数据中的第一对象，将第一对象实时更新到虚拟场景中，并且可以根据互动指令，对虚拟场景进行更新或切换，以实现在得到的视频数据中既具有丰富多彩的场景变化效果，又同时保存有第一对象的实时活动效果。

Description

一种融合式虚拟场景互动的方法及系统
技术领域
本发明涉及多媒体数据处理领域，尤其涉及一种融合了两个以上数据的多媒体数据处理技术。
背景技术
虚拟场景合成技术是一种应用于电视台演播厅录播节目或电影制作中的多媒体数据处理技术，例如天气预报节目等。
现有技术中，虚拟场景合成技术通常通过将摄像装置采集到的纯色背景中的人像提取出来，然后与渲染出来的虚拟场景背景进行叠加合成，再将合成后的图像数据输出用于播放或录制存储。
但是，现有的虚拟场景技术无法实现主播对象与观众对象之间高品质的互动交流。具体的，例如在网络直播领域中，现有的直播平台和技术，使得观众只能看到主播摄像头拍摄的画面，观众可以向主播赠送虚拟礼物，但是这些虚拟礼物只能在现有的场景下进行粗糙地叠加。又例如，现有MTV制作通常由导演和表演者交流后录制完成，录制过程缺乏趣味性，录制效果单一。并且在现有直播技术中，为了使客户端能够看到其他客户端与主播之间的互动效果，需要客户端将互动信息和素材发送到云端服务器，云端服务器通知所有在线客户端从指定位置下载素材，并由客户端叠加到直播画面上。可见，客户端需要下载指定素材，效率低下，且浪费流量；并且需要每个客户端在本地存储所述互动素材，占用客户端存储空间，而且互动内容不便于及时进行扩展。同时，现有的互动内容一般只是简单、生硬地叠加到图像或视频的表面层，并将图像或视频的部分内容完全覆盖，互动内容与图像或视频的融合感差，显示效果一般。例如，若互动内容为用户为主播送了一朵花，则在视频表面覆盖一朵花，其显示效果很突兀，无法将互动内容与视频场景自然的融合在一起。
因此发明人认为需要研发一种能实现不同场景满足下，通过网络实现交流互动的虚拟场景技术。
发明内容
为此，需要提供一种实现在虚拟场景中进行丰富多彩，灵活方便的互动的系统与方法，用于解决现有技术中，主播对象与观众对象之间互动交流效果单一，互动内容扩展不便的问题。
为实现上述目的，发明人提供了一种融合式虚拟场景互动的方法，包括以下步骤：
将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到图像数据。
进一步的，所述融合式虚拟场景互动的方法，包括以下步骤：
实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；
根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
接收来自第一终端发送的互动指令；
将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。
进一步的，在实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
将第一对象实时更新到虚拟场景中的同时，也将将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
进一步的，所述第一终端为智能移动终端或遥控器。
进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；
将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。
进一步的，所述互动指令还包括第一素材的内容数据。
进一步的，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。
进一步的，所述互动指令包括变换虚拟场景镜头的命令(适合一对一直播的场景)。
进一步的，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：将视频数据通过显示装置显示或存储记录视频数据。
进一步的，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。
进一步的，所述虚拟场景为3D虚拟舞台。
为实现上述目的，发明人还提供了一种融合式虚拟场景互动的系统，用于将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。
进一步的，所述融合式虚拟场景互动的系统包括：
采集模块，用于实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；
提取模块，用于根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
接收模块，用于接收来自第一终端发送的互动指令；
更新模块，用于将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。
进一步的，所述采集模块还用于采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
所述更新模块还用于将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
进一步，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括直播模块：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。
进一步的，所述第一终端为智能移动终端或遥控器。
进一步的，所述互动指令包括将第一素材更新到虚拟场景中的指令；
将第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。
进一步的，所述互动指令还包括第一素材的内容数据。
进一步的，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。
进一步的，所述互动指令包括变换虚拟场景镜头的命令。
进一步的，还包括显示模块或存储模块，显示模块用于得到视频数据之后，将视频数据通过显示装置显示；所述存储模块用于，得到视频数据之后，存储记录视频数据。
进一步的，所述第一终端为智能移动终端或遥控器。
进一步的，所述虚拟场景为3D虚拟舞台。
为解决上述技术问题，发明人还提供了一种融合式虚拟场景互动的系统，包括第一终端、第二终端和服务器，所述第一终端和第二终端通过网络与服务器连接；
所述第二终端连接有一个以上摄像装置，用于实时获取所述摄像装置的信号，并采集得到一个以上的第一图像数据；以及根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
所述第二终端还用于将一个以上的第一对象实时更新到虚拟场景中，并根据接收到的互动指令，更新或切换虚拟场景，得到视频数据，以及将视频数据发送给服务器；
所述第一终端用于生成互动指令，并发送给服务器；以及从服务器获取所述视频数据，并显示所述视频数据；
所述服务器用于将所述互动指令实时的发送给第二终端，以及接收第二终端发送的视频数据。
进一步的，所述第二终端还连接有一个以上传声器，第二终端在采集第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；以及将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
进一步的，所述摄像装置为数码摄像机或网络摄像头。
区别于现有技术，上述技术方案通过将第一对象实时更新到虚拟场景中，并且可以根据接收到的互动指令，对虚拟场景进行更新或切换，以实现在得到的视频数据中既具有丰富多彩的场景变化效果，又同时保存有第一对象的实时活动效果。上述技术方案中观众可通过终端发送互动指令，在主播端将互动的内容与第一对象更新至虚拟场景中，使互动内容、主播对象以及虚拟场景融合在一起，因此各终端均可看到互动的效果，大大提高了主播对象与观众之间互动交流的丰富性与趣味性；并且在本技术方案中，互动的内容是在主播端就融合至虚拟场景中，因此，观众的终端无需从服务器下载互动素材，从而便于互动内容的扩展。另外，由于互动的内容是在图像或视频形成的初期，与第一对象一起更新到虚拟场景中的，即互动内容是与第一对象以及虚拟场景一同渲染成像的，因此互动内容是融合在虚拟场景中，融为虚拟场景的一部分，相对目前只将互动内容简单叠加在视频的表面层相比，其显示的立体效果更好，且可以跟虚拟场景融合的更加自然协调。
附图说明
图1为具体实施方式所述融合式虚拟场景互动的方法的流程图；
图2为具体实施方式所述融合式虚拟场景互动的系统的模块框图；
图3为具体实施方式所述融合式虚拟场景互动的方法在数字娱乐场所应用的示意图；
图4为具体实施方式所述融合式虚拟场景互动的方法在数字娱乐场所应用的示意图；
图5为具体实施方式所述融合式虚拟场景互动的方法在网络直播应用的示意图；
图6为具体实施方式所述融合式虚拟场景互动的方法的流程图；
图7为具体实施方式所述融合式虚拟场景互动的系统的示意图。
附图标记说明：
10、采集模块
20、提取模块
30、接收模块
40、更新模块
50、直播模块
301、显示装置
302、机顶盒
303、摄像装置
304、传声器
305、输入装置
401、显示装置
402、机顶盒
403、摄像装置
404、移动终端
405、传声器
406、输入装置
501、传声器
502、个人电脑
503、摄像装置
504、移动终端
505、云端服务器
701、服务器
702、第二终端
703、摄像装置
704、传声器
705、第一终端
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，本实施例提供了一种融合式虚拟场景互动的方法，本实施例可以应用于网络直播或MTV制作等多种需求中。该融合式虚拟场景互动的方法，将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。
具体的，本实施例的方法包括以下步骤：
S101实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据。
S102根据预设的条件，从每个第一图像数据中提取一个以上的第一对象。其中，所述第一图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象时，可以从每帧的图像中分别提取出第一对象，因此所得到的第一对象也是包括有两帧以上连接对象。在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。以下通过一具体提取第一对象的算法实施例进行举例说明。
在某一实施例中，第一图像数据中，第一对象为人物主播，主播所处的背景为纯色背景。提取第一图像数据中第一对象的具体步骤为：GPU将第一图像数据中的每个像素的颜色值与预设的阈值做比较；若像素的颜色值在预设的阈值内，则将该像素点的Alpha通道设为零，即将背景显示为透明色，提取出对象。
由于背景为纯色，所以本实施例采用色度键法进行抠图。其中预设的阈值为背景颜色的颜色值，例如，背景颜色为绿色，则预设的像素点RGB颜色值的阈值为(0±10、255-10、0±10)。背景色可以选择绿色或蓝色，在拍摄的场所可同时设置两种颜色的背景，供主播选择。当主播穿与绿色反差较大的衣服唱歌时，可选用绿色的背景。在对象(人像)提取过程中，由于主播穿的衣服与背景色相差较大，所以图像中的每个像素的颜色值与预设的阈值进行比较后，背景部分像素点的颜色值在预设的阈值内，将背景部分像素点的Alpha通道设为零，即将背景显示为透明色；而人像部分的像素点不在预设的阈值内，保留人像部分，从而实现将人像从图像中提取出来。
在具体的实施例中，还可以利用设备上的GPU进行抠图处理操作，不占用CPU时间，提高系统速度；并且由于GPU是专门对图像进行处理的硬件，对不同大小的像素运算时间一样，例如，8位、16位、32位的像素运算时间均一样，可大大节省了对像素的运算时间；而普通的CPU会随像素大小的增大延长处理时间，所以本实施例的人像提取速度大大提高。上述的区别点使得本实施例中还可以采用带有GPU的嵌入式设备实现，即使嵌入式方案中的CPU性能较弱，但是应用本实施例的方案，嵌入式设备方案仍然能实现流畅显示，因为若使用CPU从第一图像数据中提取第一对象，CPU需进行读取摄像装置获取的视频，并进行抠图等处理，CPU负担太重，无法进行流畅的显示。而本实施例应用于嵌入式方案中，将上述抠图处理放入GPU中进行，既减轻了CPU的负担，同时不会对GPU的运行造成影响。
S103接收来自第一终端发送的互动指令。在不同的实施例中，所述第一终端通过计算机网络发送互动指令，计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络或3G/4G移动通讯网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。在一些实施例中，第一终端还可以遥控器等近距离控制装置，第一终端可产生红外信号、无线电波等信号来发送相应的互动指令。
S104将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到第二图像数据。
在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。
3D虚拟现实场景技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种现实场景的3D模拟场景，是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真。虚拟场景包括任何现实生活中存在的实际场景，包含视觉、听觉等任何能通过体感感受到的场景，通过计算机技术来模拟实现。3D虚拟现实场景的一种应用是3D虚拟舞台，3D虚拟舞台是通过计算机技术模拟现实舞台，实现一种立体感、真实感强的舞台效果。可以通过3D虚拟舞台实现，在现实中不在舞台上的主播对象在各种舞台上进行表演的场景效果。
3D视频是拍摄影像时，用两台摄影机模拟左右两眼视差，分别拍摄两条影片，然后将这两条影片同时放映到银幕上，放映时让观众左眼只能看到左眼图像，右眼只能看到右眼图像。最后两幅图像经过大脑叠合后，就能看到具有立体纵深感的画面，即为3D视频。
在不同虚拟场景中互动的实施例中，互动指令可以包括不同的内容，在某些实施例中，所述互动指令包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动指令，将第一素材也更新到虚拟场景中，从而得到所述视频数据。
所述第一素材可以为图像素材、声音素材或者图像素材与声音素材的结合。以网络直播为例，所述第一素材包括有虚拟礼物、点赞、背景音、喝彩等，网络直播的观众可通过移动手机，向主播送鲜花等虚拟礼物的互动指令，所送的礼物将以鲜花图片的形式在虚拟场景中体现出来。网络直播的观众还可以通过移动手机，向主播发送鼓掌的互动指令，鼓掌的互动指令将以掌声的形式进行播放。
这些第一素材可以是系统预置的，供给用户选择使用，而在某些实施例中，所述互动指令除了包括将第一素材更新到虚拟场景中的命令，还可包括了第一素材的内容数据。例如观众在通过移动终端上传一个赠送虚拟礼物的互动指令，以及在互动指令中还包含了一张所赠送虚拟礼物的图片，在接收到所述互动指令后，将所述礼物的图片更新至虚拟场景中。因此观众在发送互动指令时，除了可以选择互动的方式，还可以根据自己的喜好自定义第一素材的内容数据，如喜欢的图片素材、声音素材或图片与声音结合的素材。
在一些实施例中，所述互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。通过切换虚拟场景镜头的视角，可以模拟从不同视角观看虚拟场景的画面；通过改变虚拟场景镜头焦距，可对拉近和推远虚拟场景的画面；而对对虚拟场景进行局部模糊处理，可使虚拟场景中未模糊处理部分画面被突出显示。通过所述变换虚拟场景镜头的命令，可大大提高观众的互动程度和趣味性。
区别于现有的直播互动，是将互动的内容是直接的叠加至图像或视频的表面层，因此在视觉效果上，所叠加的互动内容像是漂浮在虚拟场景的表面，从而导致互动内容的视觉效果很突兀，很难与虚拟场景融合成一体。在上述实施例中，所述互动内容是在第一对象更新至虚拟场景的同时，更新至虚拟场景中，其中，所述第一对象、互动内容以及虚拟场景是一同渲染成像的，因此互动内容与第一对象可以自然、协调的融合在虚拟场景中，从而具有良好的视觉效果。在实施例中，所述互动内容还可是通过3D建模而得到的3D互动模型，3D互动模型与第一对象以及虚拟场景实时渲染，从而得到3D互动模型在虚拟场景中自然展现，如互动内容为献花时，所献的鲜花可在虚拟场景中立体展现；如互动内容为点赞时，点赞的信息能够在虚拟场景中的虚拟屏幕上显示。
在一实施例中，在实时获取摄像装置的信号，采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到视频数据。以网络直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或演主播演唱的声音及歌曲伴奏的混合声音。通过实时将第一声音实时更新到虚拟场景中，同时，在显示终端实时显示更新后的视频数据。这样，不仅可听到网络主播的声音，还可以在显示终端看到与声音同步的画面(人像与虚拟场景的结合)，实现了虚拟舞台的效果。
在上述实施例中，得到视频数据之后，将视频数据通过显示装置显示，通过在显示装置上显示所述视频数据，用户可看到第一对象与虚拟场景合成后的视频。在显示视频数据时，可先对视频数据的画面进行编码，通过编码处理可使视频数据在显示装置实时流畅显示。在现有技术中，一般不对原始画面进行处理，原始画面数据量大，所以现有技术还未出现对人像和虚拟场景合成后的画面，实时在客户端显示的技术。而本实施例将更新后得到的视频数据的画面先进行编码，经过编码操作可大大减小画面大小。
例如：在分辨率为720P的情况下，1帧视频的大小为1.31MByte，1秒视频为30帧画面，所以，现有视频中，1秒视频的大小为：30*1.31＝39.3MByte；本实施例对画面进行编码后，还是在分辨率为720P下，设码率为4Mbit，1秒的视频的大小为4Mbit，由于1Byte＝8bit，所以1秒的视频为0.5MByte；与现有视频相比，编码后的视频数据大大减小，从而编码后的视频数据可流畅地在网络上进行传输，实现在客户端流畅显示音视频数据。
在一些实施例中，得到视频数据之后，存储记录视频数据。所存储的视频数据可上传至网关服务器，网关服务器将接收的视频数据上传至云端服务器，云端服务器接收视频数据并生成分享地址。通过上述步骤，实现了视频数据的分享。在通过终端设备(例如手机、电脑、平板等带显示屏的电子设备)登录分享地址，即可直接播放音视频数据或下载所述视频数据。
所得到的视频数据除了可以在本地的显示装置上进行播放，还可以在网络端进行实时播放。具体为：
网络客户端通过实时流传输协议获取所述视频数据，并对视频数据中的视频数据解码显示画面，所述画面内容可为3D场景渲染的画面；音频数据解码后通过音频播放设备(例如扬声器)播放。所述实时流传输协议可以是RTSP协议。其中，视频数据中的图像数据预先经过编码操作，通过图像数据编码操作，可实现客户端流畅播放视频数据。
请参阅图2，发明人还提供了一种通过计算机网络实现在虚拟场景中互动的系统，用于将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。该实现在虚拟场景中互动的系统以应用于网络直播或MTV制作等多种需求中。具体的，实现在虚拟场景中互动的系统包括有：
采集模块10，用于实时获取摄像装置的信号，采集得到第一图像数据；
提取模块20，用于根据预设的条件，从第一图像数据中提取第一对象；
接收模块30，用于接收来自第一终端通过计算机网络发送的互动指令；
更新模块40，用于将第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。
在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。其中，所述第一图像数据是指包括两帧以上连续图像的图像数据(或称为视频数据)，并非单帧静态图像，在提取第一对象时，可以从每帧的图像中分别提取出第一对象，因此所得到的第一对象也是包括有两帧以上连接对象。以下通过一具体提取第一对象的算法实施例进行举例说明。
所述计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络或3G/4G移动通讯网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。
在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。
在不同虚拟场景中互动的实施例中，互动指令可以包括不同的内容，在某些实施例中，所述互动指令包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动指令，将第一素材也更新到虚拟场景中，从而得到所述视频数据。所述第一素材包括：图像素材、声音素材或图像素材与声音素材的结合。
在一些实施例中，所述互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。
所述采集模块10还用于在采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
所述更新模块40还用于在将第一对象实时更新到虚拟场景中的同时，也将将第一声音实时更新到虚拟场景中，得到视频数据。以网络直播为例，所述第一声音数据为网络主播的说明或演唱的声音，或演主播演唱的声音及歌曲伴奏的混合声音。通过实时将第一声音实时更新到虚拟场景中，同时，在显示终端实时显示更新后的视频数据。这样，不仅可听到网络主播的声音，还可以在显示终端看到与声音同步的画面(人像与虚拟场景的结合)，实现了虚拟舞台的效果。
所述实现在虚拟场景中互动的系统还包括显示模块或存储模块，显示模块用于得到视频数据之后，将视频数据通过显示装置显示；通过在显示装置上显示所述视频数据，用户可看到第一对象与虚拟场景合成后的视频。在显示视频数据时，可先对视频数据的画面进行编码，通过编码处理可使视频数据在显示装置实时流畅显示。在现有技术中，一般不对原始画面进行处理，原始画面数据量大，所以现有技术还未出现对人像和虚拟场景合成后的画面，实时在客户端显示的技术。而本实施例将更新后得到的视频数据的画面先进行编码，经过编码操作可大大减小画面大小。
所述存储模块用于，得到视频数据之后，存储记录视频数据。所存储的视频数据可上传至网关服务器，网关服务器将接收的视频数据上传至云端服务器，云端服务器接收视频数据并生成分享地址。
在一具体的实施例中，所述通过计算机网络实现在虚拟场景中互动的系统还包括直播模块50，用于根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。
以下以数字娱乐场所(KTV)为例，对本虚拟场景互动的方法进行详细说明。请参阅图3，数字娱乐场所的包厢内包括有歌曲点唱系统，所述歌曲点唱系统用于点歌以及演唱所点的歌曲，包括有机顶盒302、显示装置301、传声器304和输入装置305，通过输入装置305可选择所要点唱的歌曲，以及对包厢内的音响系统和灯光系统进行控制。所述数字娱乐场所内还包括有摄像装置303，并可实现虚拟舞台功能。在歌曲点唱系统中设有多个虚拟舞台的场景可供选择，例如“中国好声音”、“我是歌手”、“青年歌手赛”等，用户在演唱歌曲时可选择自己喜欢的虚拟舞台场景。所述摄像装置303用于实时获取演唱者的图像数据，并从演唱者的图像数据中抠取出人物图像；所述传声器304用于获取演唱者的声音数据；所述声音数据通过音响系统与歌曲的伴奏一起播放，而所抠取出的人物图像则实时更新至虚拟舞台的场景中，并通过显示装置显示，因此在包厢内可观看到演唱者在虚拟舞台上进行演唱的画面。
在一些实施例中，所述摄像装置是直接连接于机顶盒302，由机顶盒302完成从从演唱者的图像数据中抠取出人物图像，并更新至虚拟舞台场景中。
在其他实施例中，所述数字娱乐场所还可设置一专门的图像处理设备(例如PC机)，用于进行虚拟舞台场景的实现，该图像处理设备与所述摄像装置以及机顶盒连接，摄像装置所拍摄的演唱者的图像数据，交由图像处理设备进行人物图像抠图，以及将而所抠取出的人物图像实时更新至虚拟舞台的场景中，所得到的虚拟舞台场景数据再通过机顶盒在显示装置上显示出来。
如图4所示，在上述实施例中，机顶盒402或图像处理设备还可通过网络或近场通信方式连接智能手机、平板电脑等智能移动终端404，通过移动终端404可向机顶盒402或图像处理设备发送互动指令，机顶盒402或图像处理设备在将演唱者的人物抠图更新到虚拟舞台的同时，根据所述互动指令，切换虚拟舞台的场景，从而实现虚拟舞台互动。例如，数据娱乐场所包厢内的听众，可通过移动手机向演唱者发送“献花”的互动指令，机顶盒或图像处理设备在接收到该“献花”的互动指令后，将一个鲜花的图像直接添加至虚拟舞台的画面上，并将鲜花的图像直接添加至人物图像的手上。
以下以网络直播为例，对本虚拟场景互动的方法进行详细说明。如图5所示，在网络直播间内设置有摄像装置、传声器501以及个人电脑502，传声器501用于获取网络主播的声音数据，所述摄像装置503用于获取网络主播的图像信息，所述摄像装置503和传声器501连接于个人电脑，个人电脑502通过计算机网络连接于云端服务器505，并将直播间的音视频数据实时传输至云端服务器505，而观众通过电脑或智能移动终端等网络终端504，登陆云端服务器可观看网络直播间内的直播音视频。
为了实现虚拟场景直播，网络直播间内的个人电脑内设置有多种虚拟场景供选择，个人电脑从摄像装置所拍摄到的图像数据中提取出网络主播的人物图像；以及将所提取的人物图像和传声器所采集的声音数据更新至所选的虚拟场景中，得到网络主播与虚拟场景相结合的视频数据。个人电脑将该视频数据上传至云端服务器，因此网络端观众通过网络终端，就可观看到网络主播在虚拟场景中表演的音视频。
网络端观众还可通过所述网络终端与网络主播进行互动，互动的效果将在虚拟场景中展现出来。其中，网络观众通过网络终端向云端服务器发送互动指令，由云端服务器将互动指令转发至对应的网络直播间，网络直播间的个人电脑在接收到互动指令后，根据互动指令实时更新或切换虚拟场景。
在另一实施例中，网络直播间内的个人电脑将摄像装置所获取的主播的视频数据，以及传声器所获取的声音数据，直接实时的传输给云端服务器，云端服务器内设置有多种虚拟场景，为实现虚拟场景直播，云端服务器从图像数据中提取出网络主播的人物图像；以及将所提取的人物图像和传声器所采集的声音数据更新至所选的虚拟场景中，从而由云端服务器得到网络主播与虚拟场景相结合的视频数据，云端服务器将所得到的视频数据实时发送给对应的网络直播间和在线的网络终端，因此网络观众与网络主播均可看到网络主播在虚拟场景中表演的音视频。
网络观众在与网络主播互动时，云端服务器根据网络终端所发送的互动指令，实时更新或切换虚拟场景。
请参阅图6，发明人还提供了一实施例，一种融合式虚拟场景互动的方法，包括以下步骤：
将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。
其中，所述第一对象为摄像装置的信号中的对象，在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。第一对象可通过上述实施例中的算法或使用GPU进行抠图处理，从摄像装置的数据图像中提出得到。
所述互动指令则是由客户端通过计算机网络发送的，计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。客户端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。
在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。
在不同虚拟场景中互动的实施例中，互动指令可以包括不同的内容，在某些实施例中，所述互动指令包括将第一素材更新到虚拟场景中的命令。具体为：在将第一对象实时更新到虚拟场景的同时，根据所述互动指令，将第一素材也更新到虚拟场景中，从而得到所述视频数据。
所述第一素材可以为图像素材、声音素材或者图像素材与声音素材的结合。以网络直播为例，所述第一素材包括有虚拟礼物、点赞、背景音、喝彩等。这些第一素材可以是系统预置的，供给用户选择使用，而在某些实施例中，所述互动指令除了包括将第一素材更新到虚拟场景中的命令，还可包括了第一素材的内容数据。
在一些实施例中，所述互动指令还包括变换虚拟场景镜头的命令，所述变换虚拟场景镜头的命令包括有切换虚拟场景镜头的视角，改变虚拟场景镜头焦距以及对虚拟场景进行局部模糊处理等。
在一实施例中，在实时获取摄像装置的信号，采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到视频数据。
请参阅图7，发明人提供了一实施例，一种融合式虚拟场景互动的系统，该虚拟场景互动的系统，包括第一终端705、第二终端702和服务器701，所述第一终端和第二终端通过网络与服务器连接。
所述第二终端702连接有一个以上摄像装置703，用于实时获取所述摄像装置的信号，并采集得到一个以上的第一图像数据；以及根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；在不同的实施例中根据需要，第一对象可以是不同的具体对象，例如第一对象可以是真人主播，可以是宠物动物等；第一对象的数量可以是单个，也可以是2个以上。根据这些实际需求的不同，可以使用不同的算法和设置，以有效地在第一数据图像中提取第一对象。在不同实施例中，所述摄像装置为数码摄像机或网络摄像头。
所述第二终端702还用于将一个以上的第一对象实时更新到虚拟场景中，并根据接收到的互动指令，更新或切换虚拟场景，得到视频数据，以及将视频数据发送给服务器701。所述第二终端可以是电脑或小型的服务器等，在实施例中，所述虚拟场景包括计算机模拟的虚拟现实场景或真实拍摄的视频场景等。更进一步的，实施例还可以结合新近发展的3D图像技术来提供虚拟场景，例如3D虚拟现实场景或3D视频场景。
所述第一终端705用于生成互动指令，并发送给服务器；以及从服务器获取所述视频数据，并显示所述视频数据；所述互动指令通过计算机网络发送给服务器，计算机网络可以是Internet网络也可以是局域网，可以是由有线网络、WiFi网络、3G/4G移动通讯网络、蓝牙网络或ZigBee网络等进行连接。第一终端可以是PC，也可以是手机、平板电脑等移动通讯设备，还可以是智能手表、智能手环、智能眼镜等穿戴式设备。
所述服务器用于将所述互动指令实时的发送给第二终端，以及接收第二终端发送的视频数据。
在本实施例中，所述第二终端还连接有一个以上传声器704，第二终端在采集第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；以及将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
本领域内的技术人员应明白，上述各实施例可提供为方法、装置、或计算机程序产品。这些实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。上述各实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，包括但不限于：个人计算机、服务器、通用计算机、专用计算机、网络设备、嵌入式设备、可编程设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，包括但不限于：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
上述各实施例是参照根据实施例所述的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到计算机设备的处理器以产生一个机器，使得通过计算机设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机设备以特定方式工作的计算机设备可读存储器中，使得存储在该计算机设备可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机设备上，使得在计算机设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (18)

1.一种融合式虚拟场景互动的方法，其特征在于，包括以下步骤：
将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。
2.根据权利要求1所述的融合式虚拟场景互动的方法，其特征在于，包括以下步骤：
实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；
根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
接收来自第一终端发送的互动指令；
将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。
3.根据权利要求2所述融合式虚拟场景互动的方法，其特征在于，在实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
4.根据权利要求2所述融合式虚拟场景互动的方法，其特征在于，所述第一终端为智能移动终端或遥控器。
5.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述互动指令包括将第一素材更新到虚拟场景中的指令；
将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据。
6.根据权利要求5所述融合式虚拟场景互动的方法，其特征在于，所述互动指令还包括第一素材的内容数据。
7.根据权利要求5所述融合式虚拟场景互动的方法，其特征在于，所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。
8.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述互动指令包括变换虚拟场景镜头的命令。
9.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：将图像数据通过显示装置显示或存储记录图像数据。
10.根据权利要求1-9之一所述融合式虚拟场景互动的方法，其特征在于，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括步骤：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。
11.根据权利要求1所述融合式虚拟场景互动的方法，其特征在于，所述虚拟场景为3D虚拟舞台。
12.一种融合式虚拟场景互动的系统，其特征在于，用于将一个以上第一对象更新到虚拟场景中，并在接收到互动指令时，根据互动指令将互动内容更新到虚拟场景中，得到视频数据。
13.根据权利要求12所述的融合式虚拟场景互动的系统，其特征在于，包括：
采集模块，用于实时获取一个以上摄像装置的信号，采集得到一个以上的第一图像数据；
提取模块，用于根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
接收模块，用于接收来自第一终端发送的互动指令；
更新模块，用于将一个以上的第一对象实时更新到虚拟场景中，并根据互动指令，更新或切换虚拟场景，得到视频数据。
14.根据权利要求13所述融合式虚拟场景互动的系统，其特征在于，所述采集模块还用于采集得到第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；
所述更新模块还用于将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
15.根据权利要求12所述融合式虚拟场景互动的系统，其特征在于，所述互动指令包括将第一素材更新到虚拟场景中的指令；
将第一对象实时更新到虚拟场景中，并根据互动指令，将第一素材也更新到虚拟场景中，得到视频数据；
所述互动指令还包括第一素材的内容数据；所述第一素材包括：文字素材、图像素材、声音素材或图像素材与声音素材的结合。
16.根据权利要求15所述融合式虚拟场景互动的系统，其特征在于，根据互动指令将互动内容更新到虚拟场景中，得到视频数据之后还包括直播模块：通过实时流传输协议，将所述视频数据直播给局域网中的在线客户端；或将所述视频数据发送给第三方网络服务器；第三方网络服务器生成所述视频数据的互联网直播链接。
17.一种融合式虚拟场景互动的系统，其特征在于，包括第一终端、第二终端和服务器，所述第一终端和第二终端通过网络与服务器连接；
所述第二终端连接有一个以上摄像装置，用于实时获取所述摄像装置的信号，并采集得到一个以上的第一图像数据；以及根据预设的条件，从每个第一图像数据中提取一个以上的第一对象；
所述第二终端还用于将一个以上的第一对象实时更新到虚拟场景中，并根据接收到的互动指令，更新或切换虚拟场景，得到视频数据，以及将视频数据发送给服务器；
所述第一终端用于生成互动指令，并发送给服务器；以及从服务器获取所述视频数据，并显示所述视频数据；
所述服务器用于将所述互动指令实时的发送给第二终端，以及接收第二终端发送的视频数据。
18.根据权利要求17所述的融合式虚拟场景互动的系统，其特征在于，所述第二终端还连接有一个以上传声器，第二终端在采集第一图像数据的同时，实时获取传声器的信号，采集得到第一声音数据；以及将第一对象实时更新到虚拟场景中的同时，也将第一声音实时更新到虚拟场景中，得到第一多媒体数据，所述第一多媒体数据包括第一声音数据与视频数据。
CN201611130542.6A 2016-12-09 2016-12-09 一种融合式虚拟场景互动的方法及系统 Active CN106792246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611130542.6A CN106792246B (zh) 2016-12-09 2016-12-09 一种融合式虚拟场景互动的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611130542.6A CN106792246B (zh) 2016-12-09 2016-12-09 一种融合式虚拟场景互动的方法及系统

Publications (2)

Publication Number Publication Date
CN106792246A true CN106792246A (zh) 2017-05-31
CN106792246B CN106792246B (zh) 2021-03-09

Family

ID=58874950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611130542.6A Active CN106792246B (zh) 2016-12-09 2016-12-09 一种融合式虚拟场景互动的方法及系统

Country Status (1)

Country Link
CN (1) CN106792246B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107240319A (zh) * 2017-07-25 2017-10-10 深圳市鹰硕技术有限公司 一种用于k12阶段的互动情景教学系统
CN107248334A (zh) * 2017-07-21 2017-10-13 深圳市鹰硕技术有限公司 一种针对儿童的交互情景教学系统
CN107422862A (zh) * 2017-08-03 2017-12-01 嗨皮乐镜（北京）科技有限公司 一种虚拟现实场景中虚拟影像交互的方法
CN107592575A (zh) * 2017-09-08 2018-01-16 广州华多网络科技有限公司 一种直播方法、装置、系统及电子设备
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示系统和方法
CN108566521A (zh) * 2018-06-26 2018-09-21 蒋大武 一种基于自然图像抠像的视频合成系统
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质
CN108647313A (zh) * 2018-05-10 2018-10-12 福建星网视易信息系统有限公司 一种实时生成演唱视频的方法和系统
WO2019076202A1 (zh) * 2017-10-19 2019-04-25 阿里巴巴集团控股有限公司 多屏互动方法、装置及电子设备
CN110213560A (zh) * 2019-05-28 2019-09-06 刘忠华 一种沉浸式视频播放方法和系统
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质
CN110719415A (zh) * 2019-09-30 2020-01-21 深圳市商汤科技有限公司 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN110931111A (zh) * 2019-11-27 2020-03-27 昆山杜克大学 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法
CN111182348A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 直播画面展示的方法和装置
CN111372013A (zh) * 2020-03-16 2020-07-03 广州秋田信息科技有限公司 视频快速合成方法、装置、计算机设备以及存储介质
CN111698543A (zh) * 2020-05-28 2020-09-22 厦门友唱科技有限公司 基于演唱场景的交互实现方法、介质及系统
CN111954063A (zh) * 2020-08-24 2020-11-17 北京达佳互联信息技术有限公司 视频直播间的内容显示控制方法及装置
CN111984111A (zh) * 2019-05-22 2020-11-24 中国移动通信有限公司研究院 多媒体处理方法、装置及通信设备
CN112057871A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种虚拟场景生成方法及装置
CN112099681A (zh) * 2020-09-02 2020-12-18 腾讯科技（深圳）有限公司 基于三维场景应用的交互方法、装置和计算机设备
CN112543341A (zh) * 2020-10-09 2021-03-23 广东象尚科技有限公司 一种一站式虚拟直播录播的方法
CN113244616A (zh) * 2021-06-24 2021-08-13 腾讯科技（深圳）有限公司 基于虚拟场景的互动方法、装置、设备及可读存储介质
CN114302153A (zh) * 2021-11-25 2022-04-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN115086762A (zh) * 2022-06-08 2022-09-20 北京雷石天地电子技术有限公司 基于ktv设备的视频合成方法、设备和计算机可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统
CN102789348A (zh) * 2011-05-18 2012-11-21 北京东方艾迪普科技发展有限公司 交互式三维图形视频可视化系统
CN103634681A (zh) * 2013-11-29 2014-03-12 腾讯科技(成都)有限公司 直播互动方法、装置、客户端、服务器及系统
CN104618797A (zh) * 2015-02-06 2015-05-13 腾讯科技（北京）有限公司 信息处理方法、装置及客户端
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN105654471A (zh) * 2015-12-24 2016-06-08 武汉鸿瑞达信息技术有限公司 应用于互联网视频直播的增强现实ar系统及方法
CN106060518A (zh) * 2016-06-06 2016-10-26 武汉斗鱼网络科技有限公司 具备视角切换功能的720度全景播放器的实现方法及系统
CN106131591A (zh) * 2016-06-30 2016-11-16 广州华多网络科技有限公司 直播方法、装置及终端
CN106204426A (zh) * 2016-06-30 2016-12-07 广州华多网络科技有限公司 一种视频图像处理方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101465957A (zh) * 2008-12-30 2009-06-24 应旭峰 一种虚拟三维场景中实现遥控互动的系统
CN102789348A (zh) * 2011-05-18 2012-11-21 北京东方艾迪普科技发展有限公司 交互式三维图形视频可视化系统
CN103634681A (zh) * 2013-11-29 2014-03-12 腾讯科技(成都)有限公司 直播互动方法、装置、客户端、服务器及系统
CN104618797A (zh) * 2015-02-06 2015-05-13 腾讯科技（北京）有限公司 信息处理方法、装置及客户端
CN104836938A (zh) * 2015-04-30 2015-08-12 江苏卡罗卡国际动漫城有限公司 一种基于ar技术的虚拟演播室系统
CN105654471A (zh) * 2015-12-24 2016-06-08 武汉鸿瑞达信息技术有限公司 应用于互联网视频直播的增强现实ar系统及方法
CN106060518A (zh) * 2016-06-06 2016-10-26 武汉斗鱼网络科技有限公司 具备视角切换功能的720度全景播放器的实现方法及系统
CN106131591A (zh) * 2016-06-30 2016-11-16 广州华多网络科技有限公司 直播方法、装置及终端
CN106204426A (zh) * 2016-06-30 2016-12-07 广州华多网络科技有限公司 一种视频图像处理方法和装置

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107248334A (zh) * 2017-07-21 2017-10-13 深圳市鹰硕技术有限公司 一种针对儿童的交互情景教学系统
CN107240319A (zh) * 2017-07-25 2017-10-10 深圳市鹰硕技术有限公司 一种用于k12阶段的互动情景教学系统
CN107422862B (zh) * 2017-08-03 2021-01-15 嗨皮乐镜（北京）科技有限公司 一种虚拟现实场景中虚拟影像交互的方法
CN107422862A (zh) * 2017-08-03 2017-12-01 嗨皮乐镜（北京）科技有限公司 一种虚拟现实场景中虚拟影像交互的方法
CN107592575A (zh) * 2017-09-08 2018-01-16 广州华多网络科技有限公司 一种直播方法、装置、系统及电子设备
CN107592575B (zh) * 2017-09-08 2021-01-26 广州方硅信息技术有限公司 一种直播方法、装置、系统及电子设备
WO2019076202A1 (zh) * 2017-10-19 2019-04-25 阿里巴巴集团控股有限公司 多屏互动方法、装置及电子设备
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示系统和方法
CN108647313A (zh) * 2018-05-10 2018-10-12 福建星网视易信息系统有限公司 一种实时生成演唱视频的方法和系统
CN108650523B (zh) * 2018-05-22 2021-09-17 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质
CN108650523A (zh) * 2018-05-22 2018-10-12 广州虎牙信息科技有限公司 直播间的显示及虚拟物品选取方法、服务器、终端和介质
CN108566521A (zh) * 2018-06-26 2018-09-21 蒋大武 一种基于自然图像抠像的视频合成系统
CN111182348B (zh) * 2018-11-09 2022-06-14 阿里巴巴集团控股有限公司 直播画面展示的方法、装置、存储装置和终端
CN111182348A (zh) * 2018-11-09 2020-05-19 阿里巴巴集团控股有限公司 直播画面展示的方法和装置
CN111984111A (zh) * 2019-05-22 2020-11-24 中国移动通信有限公司研究院 多媒体处理方法、装置及通信设备
CN110213560A (zh) * 2019-05-28 2019-09-06 刘忠华 一种沉浸式视频播放方法和系统
CN112057871A (zh) * 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种虚拟场景生成方法及装置
CN110290290A (zh) * 2019-06-21 2019-09-27 深圳迪乐普数码科技有限公司 云vr演播室的实现方法、装置、计算机设备及存储介质
CN110719415B (zh) * 2019-09-30 2022-03-15 深圳市商汤科技有限公司 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN110719415A (zh) * 2019-09-30 2020-01-21 深圳市商汤科技有限公司 一种视频图像处理方法、装置、电子设备及计算机可读介质
CN110931111A (zh) * 2019-11-27 2020-03-27 昆山杜克大学 基于虚拟现实及多模态信息的孤独症辅助干预系统及方法
CN111372013A (zh) * 2020-03-16 2020-07-03 广州秋田信息科技有限公司 视频快速合成方法、装置、计算机设备以及存储介质
CN111698543A (zh) * 2020-05-28 2020-09-22 厦门友唱科技有限公司 基于演唱场景的交互实现方法、介质及系统
CN111954063A (zh) * 2020-08-24 2020-11-17 北京达佳互联信息技术有限公司 视频直播间的内容显示控制方法及装置
CN112099681A (zh) * 2020-09-02 2020-12-18 腾讯科技（深圳）有限公司 基于三维场景应用的交互方法、装置和计算机设备
CN112543341A (zh) * 2020-10-09 2021-03-23 广东象尚科技有限公司 一种一站式虚拟直播录播的方法
CN113244616A (zh) * 2021-06-24 2021-08-13 腾讯科技（深圳）有限公司 基于虚拟场景的互动方法、装置、设备及可读存储介质
WO2022267729A1 (zh) * 2021-06-24 2022-12-29 腾讯科技（深圳）有限公司 基于虚拟场景的互动方法、装置、设备、介质及程序产品
CN113244616B (zh) * 2021-06-24 2023-09-26 腾讯科技（深圳）有限公司 基于虚拟场景的互动方法、装置、设备及可读存储介质
CN114302153A (zh) * 2021-11-25 2022-04-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114302153B (zh) * 2021-11-25 2023-12-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN115086762A (zh) * 2022-06-08 2022-09-20 北京雷石天地电子技术有限公司 基于ktv设备的视频合成方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN106792246B (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN106792246A (zh) 一种融合式虚拟场景互动的方法及系统
CN106789991A (zh) 一种基于虚拟场景的多人互动方法及系统
CN106713988A (zh) 一种对虚拟场景直播进行美颜处理的方法及系统
WO2022142818A1 (zh) 一种基于全息终端的5g强互动远程专递教学系统的工作方法
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN106792214A (zh) 一种基于数字视听场所的直播互动方法和系统
CN106792228A (zh) 一种直播互动方法和系统
WO2018045927A1 (zh) 一种基于三维虚拟技术的网络实时互动直播方法及装置
CN110493630A (zh) 虚拟礼物特效的处理方法和装置、直播系统
CN103959802B (zh) 影像提供方法、发送装置以及接收装置
CN110536151A (zh) 虚拟礼物特效的合成方法和装置、直播系统
CN106331645B (zh) 利用虚拟镜头实现vr全景视频后期编辑的方法和系统
CN110475150A (zh) 虚拟礼物特效的渲染方法和装置、直播系统
CN108282598A (zh) 一种软件导播系统及方法
CN204350168U (zh) 一种基于全息投影技术的立体会议系统
CN106878764A (zh) 一种虚拟现实的直播方法、系统及其用途
CN106303555A (zh) 一种基于混合现实的直播方法、装置和系统
CN107197322A (zh) 一种再现装置
CN106331880A (zh) 一种信息处理方法及系统
WO2022257480A1 (zh) 直播数据的生成方法、装置、存储介质及电子设备
CN106331521A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN108305308A (zh) 虚拟形象的线下展演系统及方法
CN108961368A (zh) 三维动画环境中实时直播综艺节目的方法和系统
CN106657719A (zh) 一种智能虚拟演播室系统
CN103841299A (zh) 虚拟演播室系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant