CN107801083A - 一种基于三维虚拟技术的网络实时互动直播方法及装置 - Google Patents
一种基于三维虚拟技术的网络实时互动直播方法及装置 Download PDFInfo
- Publication number
- CN107801083A CN107801083A CN201610806587.4A CN201610806587A CN107801083A CN 107801083 A CN107801083 A CN 107801083A CN 201610806587 A CN201610806587 A CN 201610806587A CN 107801083 A CN107801083 A CN 107801083A
- Authority
- CN
- China
- Prior art keywords
- video
- dynamic
- virtual scene
- client
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 47
- 230000008859 change Effects 0.000 claims abstract description 19
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 230000003993 interaction Effects 0.000 claims description 22
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 4
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011068 loading method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- BGNQYGRXEXDAIQ-UHFFFAOYSA-N Pyrazosulfuron-ethyl Chemical compound C1=NN(C)C(S(=O)(=O)NC(=O)NC=2N=C(OC)C=C(OC)N=2)=C1C(=O)OCC BGNQYGRXEXDAIQ-UHFFFAOYSA-N 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005194 fractionation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 101100285899 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) SSE2 gene Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种基于三维虚拟技术的网络实时互动直播方法及装置，该方法包括：服务器实时获取视频；服务器去除视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频；服务器对动态三维视频进行编码，然后发送给CDN，以便于CDN将编码后的动态三维视频发送给至少一个客户端，从而使至少一个客户端的用户收看直播；服务器实时监控并响应至少一个客户端返回的信息，根据该信息，修改或重新生成动态三维视频中的动态三维虚拟场景，从而使至少一个客户端的用户在收看直播时，与所播放的动态三维视频中的动态三维虚拟场景进行互动。
Description
技术领域
本发明涉及视频播放和处理技术领域，具体涉及一种基于三维虚拟技术的网络实时互动直播方法及装置。
背景技术
目前，在视频播放和处理技术领域，广泛应用的视频直播主要有两种方式：传统电视直播以及网络视频的流媒体直播。
在传统电视直播中，可以对内容进行编排，使用专业设备建立处理链路，从摄像机采集，到使用色键器进行原始视频画面的处理，再通过在线图文系统完成内容叠加，然后将内容叠加后的视频通过光纤进行分发。
但是由于在上述传统电视直播方式中，对专业设备要求非常高，因此针对一般用户无法具备此类拍摄条件，而且一旦电视直播的内容编排完毕，就无法更改，观众只能被动接收观看，更无法与直播中的主持人以及直播中的场景进行实时互动。
在网络视频的流媒体直播中，应用比较成熟的技术是通过视频摄像头采集数据，采集之后，通过网页的动画插件进行编码输出到内容分发网络(CDN)节点，用户通过页面向CDN节点发送观看请求，页面通过动画插件接收CDN节点发送的视频流并播放给用户。
而网络视频的流媒体直播在视频内容提供时，由于仅仅以单人视频拍摄的实景或多人连线的简单视频区域分割展示方式进行视频交互，因此，导致交互形式比较单一，播出的内容局限性也比较大。
随着网络技术的普及以及三维虚拟技术的广泛应用，为了提供更为新颖丰富的内容并提升用户体验，三维虚拟技术被应用到了视频播放和处理技术中，具体的，通过摄像头采集图像，然后抠取人像，之后与预先定义好的虚拟三维景象进行合成，然后配合采集的音频，进行实时播放，虽然这种方式在一定程度上提高了视频画面的立体感，但是这种方式只是简单的将人像和三维背景叠加，无法使得用户真正实时放入参与到当前的场景中去，因此该方式并不能真正模拟实际场景。
发明内容
针对上面提到的现有技术中存在的技术问题，本发明提供了一种基于三维虚拟技术的网络实时互动直播方法及装置，解决现有技术中存在的不能真正模拟实际场景的技术问题。
本发明实施例提供了一种基于三维虚拟技术的网络实时互动直播方法，该方法包括：
服务器实时获取视频；
所述服务器去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，所述动态三维虚拟场景包括三维物件和/或物件的动画；
所述服务器对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播；
所述服务器实时监控并响应从所述至少一个客户端返回的信息，根据返回的信息，实时调整所述动态三维视频，从而使所述至少一个客户端的用户在收看直播的同时，与用户在所播放的所述动态三维视频中进行实时互动。
通过上述方案，本发明实施例中将采集的去除背景色的视频与动态三维虚拟场景混叠，并完全融合在动态三维虚拟场景中，使用户能够实时地与其它用户以及动态三维虚拟场景互动。
在上述方案中，实时调整所述动态三维视频具体包括：
根据所述至少一个客户端的用户针对当前播放的所述动态三维视频中的所述动态三维虚拟场景执行修改操作所产生的视频互动指令信息，对所述动态三维虚拟场景进行修改或生成新的动态三维虚拟场景；或
所述服务器对获取的视频进行实时监控，并从实时获取的视频中提取要素特征信息，根据所提取的要素特征信息，对所述动态三维虚拟场景进行修改或重新生成所述动态三维视频中的动态三维虚拟场景。其中，所述要素特征信息包括以下至少一种：图案信息、色彩信息、音频信息以及文字特征信息。
具体来说，对所述动态三维虚拟场景修改包括：更换或添加所述动态三维虚拟场景中的三维物件、更改或者添加所述动态三维虚拟场景中的三维物件的内容、或更改或添加三维物件动画。
通过上述设计，服务器通过对获取的视频进行实时监控并提取所述获取的视频中的要素特征信息，基于所述要素特征信息，实时自动的对动态三维虚拟场景修改或重新生成动态三维虚拟场景，自动实现与来自用户的视频的互动，从而为用户提供更为新颖丰富的内容。
本发明实施例中提及的动态三维虚拟场景可以为：
预配置在所述服务器中的动态三维虚拟场景；或者
所述服务器根据接收到的至少一个客户端发送的所述互动指令信息，修改或者重新生成的动态三维虚拟场景；或者
所述服务器提取所述实时采集到的视频中的图案信息、色彩信息、音频信息以及文字特征信息，并根据所述图案信息、色彩信息、音频信息以及文字特征信息对所述动态三维虚拟场景修改或重新生成得到的动态三维虚拟场景。
在一种可能的设计中，在将去除背景色的视频与实时获取到的动态三维虚拟场景进行混叠及渲染处理之前，所述方法还可以包括：将去除背景色的视频进行三维虚拟化处理。
具体的，所述服务器通过如下方式实现将去除背景色的视频进行三维虚拟化处理：
提取所述去除背景色的视频中的一个或多个视频内容特征；
对所述一个或多个视频内容特征进行三维建模，从而对所述去除背景色的视频进行三维虚拟化。
在一种可能的设计中，所述服务器实时获取的视频包括以下至少一种：
由视频采集设备的一路或多路本地摄像头实时获取的视频；
从网络实时获取的一路或多路视频；
实时从本地视频文件中获取的视频。
在所述述服务器实时获取的视频包括至少两路视频时，所述方法还可以包括：
所述服务器实时监控并响应所述至少一个客户端返回的用户互动指令信息；所述用户互动指令信息包括所述至少一个客户端的用户针对所述至少两路视频中所描述的对象的操作指令信息；
所述服务器根据所述用户互动指令信息，对所述至少两路视频进行处理，从而使所述至少一个客户端的用户在收看直播时，与在所播放的所述动态三维视频中至少两路视频中的用户进行实时互动。
在所述述服务器实时获取的视频包括至少两路视频时，所述服务器响应所述用户主动指令信息，先对互动的至少两路视频进行去背景处理及合成渲染，然后再与所处的动态三维虚拟场景进行融合渲染。
在一种可能的设计中，所述将去除背景色的视频与获取的动态三维虚拟场景进行渲染处理，包括：
根据当前时间点的所述动态三维虚拟场景内的三维物件和/或物件的动画的属性，将去除背景色的视频与所述动态三维虚拟场景按照给定的帧率进行渲染处理。
在一种可能的设计中，所述服务器对所述动态三维视频进行编码，包括：
将所述动态三维视频写入到预分配的共享内存队列中；
并按照先入先出的顺序从所述共享内存队列中读取动态三维视频；
将从所述共享内存队列中读取的动态三维视频按时序发送给所述CDN。
可选地，在将所述动态三维视频写入到预分配的所述共享内存队列中的过程中，禁止从所述共享内存队列读取动态三维视频。
可选地，在按照先入先出的顺序从所述共享内存队列中读取动态三维视频时，确定被禁止读取当前待读取的动态三维视频时，将上一次读取到的动态三维视频编码后发送给所述CDN。
本发明实施例还提供了一种基于三维虚拟技术的网络实时互动直播装置，包括：
获取单元，用于实时获取视频；
合成单元，用于去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，所述动态三维虚拟场景包括三维物件和/或物件的动画；
编码处理单元，用于对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播；
监控单元，用于实时监控并响应所述至少一个客户端返回的信息，并指示所述合成单元根据所述至少一个客户端返回的信息，修改或重新生成所述动态三维视频中的所述动态三维虚拟场景，从而使所述至少一个客户端的用户在收看直播时，与所播放的所述动态三维视频中的动态三维虚拟场景进行互动。
本发明实施例提供的基于三维虚拟技术的网络实时互动直播方法及装置通过将去除了背景色的视频与动态三维虚拟场景实时混叠并完全融合，生成了一个逼真的实时虚拟互动直播环境，使用户能够完全沉浸并实时参与到当前生成的动态三维虚拟场景中，除了能够与其它用户以及该动态三维虚拟场景进行实时互动，还可以根据个人喜好和互动信息实时修改和变更动态三维虚拟场景，从很大程度上提高了实时交互直播形式的灵活性；由于对于所播出的内容也没有任何限制，因此能够提供更为新颖丰富的内容，从而大大提升了用户的使用体验。
附图说明
图1为本发明实施例提供的基于三维虚拟技术的网络实时互动直播方法的流程图；
图2为本发明实施例提供的基于三维虚拟技术的网络实时互动直播方法的视频处理示意图；
图3为本发明实施例提供的基于三维虚拟技术的网络实时互动直播方法的视频互动示意图；
图4为本发明实施例提供的一种基于三维虚拟技术的网络实时互动直播装置示意图；
图5为本发明实施例提供的另一种基于三维虚拟技术的网络实时互动直播装置示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明部分实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。
本发明实施例提供一种基于三维虚拟技术的网络实时互动直播方法及装置，用于解决现有技术存在的不能真正模拟实际场景的技术问题。其中，方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。
参见图1，为本发明实施例提供的一种基于三维虚拟技术的网络实时互动直播方法的流程图。如图1所示，本发明实施例提供的方法包括：
S101，服务器实时获取视频。
S102，所述服务器去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频。
所述动态三维虚拟场景包括三维物件和/或物件的动画。
S103，所述服务器对所述动态三维视频进行编码，然后发送给CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播。
S104，所述服务器实时监控并响应从所述至少一个客户端返回的信息，根据返回的信息，实时调整所述动态三维视频，从而使所述至少一个客户端的用户在收看直播的同时，与用户在所播放的所述动态三维视频中进行实时互动。
其中，本发明实施例中提及的动态三维虚拟场景可以是预配置在所述服务器中的动态三维虚拟场景；可以是所述服务器根据接收到的至少一个客户端发送的视频互动指令信息，修改或者重新生成的动态三维虚拟场景；还可以是所述服务器实时监控实时采集到的视频，并提取其中的图案信息、色彩信息、音频信息以及文字特征信息，并根据提取的所述图案信息、色彩信息、音频信息以及文字特征信息对所述动态三维虚拟场景修改或重新生成得到的动态三维虚拟场景。
其中，服务器在开始启动直播服务时，获取的动态三维虚拟场景可以是预配置在所述服务器中的动态三维虚拟场景。服务器在接收到视频互动指令信息时，则当前的动态三维虚拟场景可以是根据视频互动指令信息修改或者重新生成的动态三维虚拟场景。
为了后续描述方便，本发明实施例可以将上述S101～S104分为四个步骤分别为：S101视频采集、S102视频处理、S103视频分发和S104视频互动。
视频采集，主要负责一路或多路视频内容的实时获取及采集，采集的内容在三维虚拟场景的网络实时互动直播中使用。
在视频采集中，可以根据用户选择加入一路或多路视频源，包括枚举本地摄像头以供用户选择，枚举和获取本地视频，通过directshow完成，其中directshow是一种流媒体处理开发包。获取当前要求接入的其他用户网络视频源，通过实时消息传输协议(英文：Real Time Messaging Protocol，简称：rtmp)完成。获取可以打开本地存储的视频文件，通过ffmpeg进行解码后同步播出其中，ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。用户根据需要，可以实时选择一路或多路视频内容，包括但不限于本地视频摄像头，本地的第三方虚拟摄像头，预先录制好的视频文件，网络接入的实时视频流等，也就是说，视频采集实时获取的视频可以包括以下至少一种：由视频采集设备的一路或多路本地摄像头实时获取的视频；从网络实时获取的一路或多路视频；实时从本地视频文件中获取的视频。
本发明实施例中，可以根据实时获取的视频包括的视频内容的类型，服务器自动选取对应的解码技术实时进行视频内容的解码和拆分，服务器按照预置的固定时间片完成视频内容的解码和拆分后得到多个视频内容块，按照给定的数据结构，将视频内容块填充到数据结构中。同时，可以在内存中建立多个队列按照顺序放入对应的视频内容块。
进一步地，所述数据结构可以包含图像时间戳，视频图像内容，帧号和索引等等内容。
图2所示为本发明的视频处理示意图。在所述视频处理中，主要负责对传输过来的实时视频的背景色进行去除，然后与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频。所述动态三维虚拟场景主要包括三维物件和/或物件的动画。
具体的，在视频处理中去除视频的背景色可以通过如下方法实现：
S201，服务器建立视频内容读取线程。
S202，读取队列中的视频内容块包括的视频图像帧。
S203，获取视频图像帧的每个像素点；并分别计算每个像素点的透明度。
具体的，可以以RGBA32进行存取，即为8bit的红色值，8bit的绿色值，8bit的蓝色值，8bit的alpha透明度。在原始视频图像帧中，默认透明度为0，即不透明。
例如：获取图像中特定的像素点A点，获取A点四周的8个像素点，依次命名为B1，B2,….B8，则A点的透明度为：
Aalpha＝(Agreen+B1green+…+B8green)/9；
其中，Aalpha表示A点的透明度，Agreen表示A的绿色值，B1green～B8green分别表示B1～B8的绿色值。
按序依次获取所有的像素点并进行透明度的计算，对于视频图像帧中的每个像素点，以1920*1080的标准高清图像为例，则有2073600个像素点需要进行透明度计算，可以通过利用支持128位整型运算的SSE2指令集，建立循环机制每次对3个像素点进行透明度的计算。
在视频处理中，将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，可以通过如下方式实现：
S204，服务器导入动态三维虚拟场景，并加载动态三维虚拟场景内容。
具体的，服务器根据用户选取的动态三维虚拟场景进行导入，并通过将动态三维虚拟场景拆分为三维物件描述数据、纹理内容文件和动画描述文件的组合形式进行加载。
S205，将去除背景色的视频图像帧与加载的动态三维虚拟场景进行混合叠加以及渲染处理。
具体的，服务器根据加载的动态三维虚拟场景中三维物件中纹理的索引和预置的uv值，将去除背景色的视频图像帧与三维物件进行混合叠加，服务器根据三维物件的动画的时间线，将当前动态三维虚拟场景的三角形顶点和纹理内容送入显卡进行内容的渲染。
优选地，所述渲染处理可以实时获取一路或多路视频源的视频帧图像，转换为RGB24格式读入，根据选择的像素值，对每个像素点进行透明度计算，根据目标点和预置点的RGB值差异，设置该像素点的alpha值，即透明度(0-100)，依照此理论，与预置点相近的像素点则透明度基本为0，即全透明。系统加载选择的三维场景，三维场景由三维空间和空间内的物件组成，视频帧图像按照指定规则，作为纹理贴面赋予空间内的某个物件，从而达到视频图像帧与动态三维虚拟场景融合的目的。动态三维虚拟场景加载之后，送入显卡进行渲染，与此同时，服务器根据时间线，实时更新三维物件的所有参数，例如空间位置、颜色、大小、特效等，从而达到实时渲染。在渲染过程中，服务器通过网络接收外部实时信息，并更新到动态三维虚拟场景中的物件属性中，例如文字内容，图片内容，视频内容，三维物件的动画播放等，并予以实时展示。
优选地，所述将去除背景色的视频与获取的动态三维虚拟场景进行渲染处理，包括：
根据当前时间点的所述动态三维虚拟场景内的三维物件和/或物件的动画的属性，将去除背景色的视频与所述动态三维虚拟场景按照给定的帧率进行渲染处理。
具体的，在获取实时视频和加载动态三维虚拟场景之后，根据当前的时间点所述动态三维虚拟场景内的三维物件和/或物件的动画的属性，将去除背景色的视频与所述动态三维虚拟场景按照给定的帧率实时进行渲染处理。
视频分发中，所述服务器对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播。
可选地，所述服务器对所述动态三维视频进行编码时，可以通过如下方式实现：
将所述动态三维视频写入到预分配的共享内存队列中；并按照先入先出的顺序从所述共享内存队列中读取动态三维视频；将从所述共享内存队列中读取的动态三维视频编码，并按时序发送给所述CDN。
具体的，服务器从显卡中根据时序回读渲染完毕的动态三维视频并放入共享内存队列；服务器创建虚拟摄像头，提供外部访问接口，并读取共享内存队列中的动态三维视频；服务器通过外部访问接口获取虚拟摄像头读取到的共享内存队列中的动态三维视频，并进行x264编码；服务器将编码完毕的内容通过rtmp协议通过互联网进行分发，任何支持rtmp的客户端都能通过地址直接进行观看。
可选地，在将所述动态三维视频写入到预分配的所述共享内存队列中的过程中，禁止从所述共享内存队列读取动态三维视频。
可选地，在按照先入先出的顺序从所述共享内存队列中读取动态三维视频时，确定被禁止读取当前待读取的动态三维视频时，将上一次读取到的动态三维视频编码后发送给所述CDN。
可选地，所述服务器在将去除背景色的视频与实时获取到的动态三维虚拟场景进行混叠及渲染处理之前，可以将去除背景色的视频进行三维虚拟化处理，即实现实时全虚拟化处理。
在将去除背景色的视频进行三维虚拟化处理时，可以通过如下方式实现：
提取所述去除背景色的视频中的一个或多个视频内容特征；对所述一个或多个视频内容特征进行三维建模，从而对所述去除背景色的视频进行三维虚拟化。
例如，对视频中的人物脸部的神态、衣着、去除的背景色以及背景音乐进行分析，根据分析结果形成一个或多个视频内容特征，然后进行三维建模，自动完成视频的三维虚拟化。
可选地，所述服务器可以主动监控实时获取的视频并提取其中的要素特征信息，基于所述要素特征信息实时地修改动态三维虚拟场景。
具体的，所述服务器对获取的视频进行实时监控，并提取其中的要素特征信息，并根据所述要素特征信息对所述动态三维虚拟场景修改或重新生成所述动态三维视频中的所述动态三维虚拟场景，所述要素特征信息包括以下至少一种：图案信息、色彩信息、音频信息以及文字特征信息。
因此，服务器获取的动态三维虚拟场景可以是根据服务器提取所述实时采集到的视频中的图案信息、色彩信息、音频信息以及文字特征信息对所述动态三维虚拟场景修改或重新生成得到的动态三维虚拟场景。
其中，对所述动态三维虚拟场景修改包括：更换或添加所述动态三维虚拟场景中的三维物件、更改或者添加所述动态三维虚拟场景中的三维物件的内容、或更改或添加三维物件动画。
可选地，在所述述服务器实时获取的视频包括至少两路视频时，所述方法还可以包括：
所述服务器实时监控并响应所述至少一个客户端返回的用户互动指令信息；所述用户互动指令信息包括所述至少一个客户端的用户针对所述至少两路视频中的用户对象的操作指令信息；
所述服务器根据所述用户互动指令信息，对所述至少两路视频进行处理，从而使所述至少一个客户端的用户在收看直播时，在所播放的所述动态三维视频中与至少两路视频中的用户进行实时互动。
具体地，当服务器响应两个以上的用户的请求而获取两个以上用户的视频，并将该两个以上用户的视频去除背景并与同一个动态三维虚拟场景进行合成渲染，从而使所述两个以上用户虚拟地处于同一个虚拟场景中，在此情况下，当其中一个用户做出与其他用户例如肩并肩站立、握手、牵手、拥抱和送花等动作并发出相应的用户互动指令信息时，服务器实时获取该用户互动指令信息，并将这两个用户的视频进行合成渲染，使所述两个用户的视频在动态三维虚拟场景中完成所做的动作，然后再与所处的动态三维虚拟场景进行融合渲染，最终形成新的动态三维视频，从而实现已公户在所播放的三维视频中的实时互动。
参见图3所示为视频互动方法示意图。
S301，用户通过客户端访问服务器。
S302，客户端接收服务器反馈的视频内容的rtmp地址和直播相关信息。直播相关信息包含有当前的直播ID，直播信息及场景索引，场景描述信息等。
S303，客户端检测到用户返回的信息。
其中，所述客户端返回的信息可以是所述至少一个客户端的用户针对当前播放的所述动态三维视频中的所述动态三维虚拟场景执行修改操作所产生的视频互动指令信息，还可以是所述至少一个客户端的用户针对所述至少两路视频中的用户对象的操作指令信息。
在用户通过客户端观看直播视频内容的同时，用户可以通过客户端针对视频内容进行操作产生反馈信息。比如反馈信息中包括有增加的文字信息以及图片等信息。
S304，服务器接收到反馈信息后，修改或重新生成动态三维虚拟场景。
比如，将文字和图片等信息生成不同的三维物件，生成之后，实时与当前显示给客户端的动态三维场景进行融合渲染，继而进行渲染输出。
经过渲染输出后三维动态视频到达客户端后实现S305a、S305b以及S305c中的至少一项。S305a，三维物件动画播放；S305b，场景镜头切换；S305c，场景切换。
在视频互动中，通过解析客户端反馈的信息内容，根据用户的实时互动操作和反馈信息以及当前视频的相关信息，进行全角度的实时三维虚拟互动。例如，服务器通过解析内容，进行相应的带有客户端内容的三维物件动画播放，或进行相应的场景镜头切换，或进行场景切换，从而达到实时互动的目的。
基于与方法同样的发明构思，本发明实施例还提供了一种基于三维虚拟技术的网络实时互动直播装置，如图4所示，包括：
获取单元401，用于实时获取视频；
合成单元402，用于去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，所述动态三维虚拟场景包括三维物件和/或物件的动画；
编码处理单元403，用于对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播；
监控单元404，用于实时监控并响应所述至少一个客户端返回的信息，并指示所述合成单元402根据所述至少一个客户端返回的信息，修改或重新生成所述动态三维视频中的所述动态三维虚拟场景，从而使所述至少一个客户端的用户在收看直播时，与所播放的所述动态三维视频中的动态三维虚拟场景进行互动
可选的，所述监控单元404，还用于对实时获取的视频进行实时监控。
所述装置还可以包括，采集处理单元405，用于提取所述实时获取的视频中的要素特征信息，并根据所述要素特征信息对所述动态三维虚拟场景修改或重新生成所述动态三维视频中的所述动态三维虚拟场景，所述要素特征信息包括以下至少一种：图案信息、色彩信息、音频信息以及文字特征信息。
本发明实施例中的所述动态三维虚拟场景为：预配置在所述服务器中的动态三维虚拟场景；或者所述合成单元402根据接收到的至少一个客户端发送的所述视频互动指令信息，修改或者重新生成的动态三维虚拟场景；或者
所述采集处理单元405提取所述获取单元401实时采集到的视频中的图案信息、色彩信息、音频信息以及文字特征信息，并根据所述图案信息、色彩信息、音频信息以及文字特征信息对所述动态三维虚拟场景修改或重新生成得到的动态三维虚拟场景。
可选地，本发明实施例中涉及的对所述动态三维虚拟场景修改包括：更换或添加所述动态三维虚拟场景中的三维物件、更改或者添加所述动态三维虚拟场景中的三维物件的内容、或更改或添加三维物件动画。
可选地，所述装置还包括虚拟化处理单元406，用于在所述合成单元402在将去除背景色的视频与实时获取到的动态三维虚拟场景进行混叠及渲染处理之前，将去除背景色的视频进行三维虚拟化处理。
所述虚拟化处理单元406具体用于：提取所述去除背景色的视频中的一个或多个视频内容特征；对所述一个或多个视频内容特征进行三维建模，从而对所述去除背景色的视频进行三维虚拟化。
所述获取单元401，实时获取的视频包括以下至少一种：由视频采集设备的一路或多路本地摄像头实时获取的视频；从网络实时获取的一路或多路视频；实时从本地视频文件中获取的视频。
可选地，在所述获取单元401实时获取的视频包括至少两路视频时，所述监控单元404实时监控并响应所述至少一个客户端返回的用户互动指令信息；所述用户互动指令信息包括所述至少一个客户端的用户针对所述至少两路视频中的用户对象的操作指令信息；所述监控单元404指示所述合成单元根据所述用户互动指令信息，对所述至少两路视频进行处理，从而使所述至少一个客户端的用户在收看直播时，在所播放的所述动态三维视频中与至少两路视频中的用户进行实时互动。
所述合成单元402在将去除背景色的视频与获取的动态三维虚拟场景进行渲染处理时，具体用于根据当前时间点的所述动态三维虚拟场景内的三维物件和/或物件的动画的属性，将去除背景色的视频与所述动态三维虚拟场景按照给定的帧率进行渲染处理。
所述编码处理单元403在对所述动态三维视频进行编码时，具体用于：
将所述动态三维视频写入到预分配的共享内存队列中；并按照先入先出的顺序从所述共享内存队列中读取动态三维视频；将从所述共享内存队列中读取的动态三维视频编码，并按时序发送给所述CDN。
所述编码处理单元403还用于在将所述动态三维视频写入到预分配的所述共享内存队列中的过程中，禁止从所述共享内存队列读取动态三维视频。
所述编码处理单元403还用于在按照先入先出的顺序从所述共享内存队列中读取动态三维视频时，确定被禁止读取当前待读取的动态三维视频时，将上一次读取到的动态三维视频编码后发送给所述CDN。
本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本发明各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
其中，在集成的单元采用硬件的形式实现时，如图5所示，可以包括通信接口501、处理器502以及存储器503。所述存储器503，用于存储所述处理器502执行的程序代码。获取单元401、合成单元402、编码处理单元403、监控单元404、采集处理单元405以及虚拟化处理单元406均集成在实体硬件处理器502中。处理器502，用于执行存储器503存储的程序代码，具体用于实现获取单元401、合成单元402、编码处理单元403、监控单元404、采集处理单元405以及虚拟化处理单元406的功能。
处理器502，可以是一个中央处理单元，或者为数字处理单元等等。处理器502通过通信接口接收和发送信息。
本发明实施例中不限定上述通信接口501、处理器502、存储器503之间的具体连接介质。本发明实施例在图5中以通信接口501、处理器502、存储器503之间通过总线504连接，总线在图5中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的创造性概念，可以对本发明进行各种变形和修改，但所做的各种变形和修改不脱离本发明的精神和范围，皆属于本发明权利要求的范围之内。
Claims (14)
1.一种基于三维虚拟技术的网络实时互动直播方法，其特征在于，该方法包括：
服务器实时获取视频；
所述服务器去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，所述动态三维虚拟场景包括三维物件和/或物件的动画；
所述服务器对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播；
该方法还包括：
所述服务器实时监控并响应从所述至少一个客户端返回的信息，根据返回的信息，实时调整所述动态三维视频，从而使所述至少一个客户端的用户在收看直播的同时，与用户在所播放的所述动态三维视频中进行实时互动。
2.如权利要求1所述的方法，其特征在于，实时调整所述动态三维视频包括：
根据所述至少一个客户端的用户针对当前播放的所述动态三维视频中的所述动态三维虚拟场景执行修改操作所产生的视频互动指令信息，对所述动态三维虚拟场景进行修改或生成新的动态三维虚拟场景；或
所述服务器对获取的视频进行实时监控，并从实时获取的视频中提取要素特征信息，根据所提取的要素特征信息，对所述动态三维虚拟场景进行修改或生成新的动态三维虚拟场景。
3.如权利要求2所述的方法，其特征在于，所述要素特征信息包括以下至少一种：图案信息、色彩信息、音频信息以及文字特征信息。
4.如权利要求1～3任一项所述的方法，其特征在于，对所述动态三维虚拟场景修改包括：更换或添加所述动态三维虚拟场景中的三维物件、更改或者添加所述动态三维虚拟场景中的三维物件的内容、或更改或添加三维物件动画。
5.如权利要求1所述的方法，其特征在于，所述服务器在将去除背景色的视频与实时获取到的动态三维虚拟场景进行混叠及渲染处理之前，还包括：
将去除背景色的视频进行三维虚拟化处理。
6.如权利要求5所述的方法，其特征在于，所述服务器将去除背景色的视频进行三维虚拟化处理，包括：
提取所述去除背景色的视频中的一个或多个视频内容特征；
对所述一个或多个视频内容特征进行三维建模，从而对所述去除背景色的视频进行三维虚拟化。
7.如权利要求1～3和5～6中任意一项所述的方法，其特征在于，所述服务器实时获取的视频包括以下至少一种：
由视频采集设备的一路或多路本地摄像头实时获取的视频；
从网络实时获取的一路或多路视频；
实时从本地视频文件中获取的视频。
8.如权利要求7所述的方法，其特征在于，所述服务器实时获取的视频包括至少两路视频时，所述方法还包括：
所述服务器实时监控并响应所述至少一个客户端返回的用户互动指令信息；所述用户互动指令信息包括所述至少一个客户端的用户针对所述至少两路视频中的用户对象的操作指令信息；
所述服务器根据所述用户互动指令信息，对所述至少两路视频进行处理，从而使所述至少一个客户端的用户在收看直播时，与所播放的所述动态三维视频中至少两路视频中的用户进行实时互动。
9.如权利要求8所述的方法，其特征在于，所述服务器响应所述用户主动指令信息，先对互动的至少两路视频进行去背景处理及合成渲染，然后再与所处的动态三维虚拟场景进行融合渲染。
10.如权利要求1所述的方法，其特征在于，所述将去除背景色的视频与获取的动态三维虚拟场景进行渲染处理，包括：
根据当前时间点的所述动态三维虚拟场景内的三维物件和/或物件的动画的属性，将去除背景色的视频与所述动态三维虚拟场景按照给定的帧率进行渲染处理。
11.如权利要求1所述的方法，其特征在于，所述服务器对所述动态三维视频进行编码，包括：
将所述动态三维视频写入到预分配的共享内存队列中；
并按照先入先出的顺序从所述共享内存队列中读取动态三维视频；
将从所述共享内存队列中读取的动态三维视频编码，并按时序发送给所述CDN。
12.如权利要求11所述的方法，其特征在于，所述方法还包括：
在将所述动态三维视频写入到预分配的所述共享内存队列中的过程中，禁止从所述共享内存队列读取动态三维视频。
13.如权利要求12所述的方法，其特征在于，所述方法还包括：
在按照先入先出的顺序从所述共享内存队列中读取动态三维视频时，确定被禁止读取当前待读取的动态三维视频时，将上一次读取到的动态三维视频编码后发送给所述CDN。
14.一种基于三维虚拟技术的网络实时互动直播装置，其特征在于，包括：
获取单元，用于实时获取视频；
合成单元，用于去除所述视频的背景色，然后将去除背景色的视频与实时获取的动态三维虚拟场景进行混叠及渲染处理，生成动态三维视频，所述动态三维虚拟场景包括三维物件和/或物件的动画；
编码处理单元，用于对所述动态三维视频进行编码，然后发送给内容分发网络CDN，以便于所述CDN将编码后的所述动态三维视频发送给至少一个客户端，从而使所述至少一个客户端的用户收看直播；
监控单元，用于实时监控并响应所述至少一个客户端返回的信息，并指示所述合成单元根据所述至少一个客户端返回的信息，修改或重新生成所述动态三维视频中的所述动态三维虚拟场景，从而使所述至少一个客户端的用户在收看直播时，与所播放的所述动态三维视频中的动态三维虚拟场景进行互动。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610806587.4A CN107801083A (zh) | 2016-09-06 | 2016-09-06 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
| PCT/CN2017/100363 WO2018045927A1 (zh) | 2016-09-06 | 2017-09-04 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610806587.4A CN107801083A (zh) | 2016-09-06 | 2016-09-06 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107801083A true CN107801083A (zh) | 2018-03-13 |
Family
ID=61530790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610806587.4A Pending CN107801083A (zh) | 2016-09-06 | 2016-09-06 | 一种基于三维虚拟技术的网络实时互动直播方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN107801083A (zh) |
| WO (1) | WO2018045927A1 (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108650523A (zh) * | 2018-05-22 | 2018-10-12 | 广州虎牙信息科技有限公司 | 直播间的显示及虚拟物品选取方法、服务器、终端和介质 |
| CN109712248A (zh) * | 2018-12-25 | 2019-05-03 | 北京惠佳家品科技有限公司 | 一种基于互联网的3d家装设计平台系统 |
| CN109741466A (zh) * | 2018-12-20 | 2019-05-10 | 北京惠佳家品科技有限公司 | 一种3d家装设计直播平台系统及直播方法 |
| CN110087128A (zh) * | 2019-04-30 | 2019-08-02 | 广州虎牙信息科技有限公司 | 直播互动方法、直播互动装置及直播设备 |
| CN110087121A (zh) * | 2019-04-30 | 2019-08-02 | 广州虎牙信息科技有限公司 | 虚拟形象显示方法、虚拟形象显示装置和电子设备 |
| CN110691279A (zh) * | 2019-08-13 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种虚拟直播的方法、装置、电子设备及存储介质 |
| CN111050187A (zh) * | 2019-12-09 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种虚拟视频处理的方法、装置及存储介质 |
| CN111225219A (zh) * | 2019-11-26 | 2020-06-02 | 深圳英伦科技股份有限公司 | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 |
| CN111292276A (zh) * | 2018-12-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易（杭州）网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
| CN112489121A (zh) * | 2019-09-11 | 2021-03-12 | 丰图科技(深圳)有限公司 | 视频融合方法、装置、设备、及存储介质 |
| CN112565799A (zh) * | 2020-11-26 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 视频数据处理方法和装置 |
| CN112804516A (zh) * | 2021-04-08 | 2021-05-14 | 北京世纪好未来教育科技有限公司 | 一种视频播放方法、装置、可读存储介质、电子设备 |
| CN112995753A (zh) * | 2019-12-16 | 2021-06-18 | 中兴通讯股份有限公司 | 一种媒体流分发方法、cdn节点服务器、cdn系统和可读存储介质 |
| CN113096006A (zh) * | 2021-04-19 | 2021-07-09 | 上海跃影科技有限公司 | 一种应用于全息场景的文件同步方法和系统 |
| CN114079799A (zh) * | 2020-08-21 | 2022-02-22 | 上海昊骇信息科技有限公司 | 一种基于虚拟现实的音乐直播系统和方法 |
| CN114079803A (zh) * | 2020-08-21 | 2022-02-22 | 上海昊骇信息科技有限公司 | 一种基于虚拟现实的音乐直播方法和系统 |
| CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114827746A (zh) * | 2022-03-30 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 视频播放控制方法、装置、电子设备、介质及程序产品 |
| CN115379250A (zh) * | 2022-07-22 | 2022-11-22 | 广州博冠信息科技有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108769721A (zh) * | 2018-05-23 | 2018-11-06 | 福建掌搜科技有限公司 | 一种直播场景智能切换系统及其方法 |
| CN114745558B (zh) * | 2021-01-07 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 直播监控方法、装置、系统、设备及介质 |
| CN113518215B (zh) * | 2021-05-19 | 2022-08-05 | 上海爱客博信息技术有限公司 | 3d动态效果生成方法、装置、计算机设备和存储介质 |
| CN113660503B (zh) * | 2021-08-17 | 2024-04-26 | 广州博冠信息科技有限公司 | 同屏互动控制方法及装置、电子设备、存储介质 |
| CN113490063B (zh) * | 2021-08-26 | 2023-06-23 | 上海盛付通电子支付服务有限公司 | 一种用于直播互动的方法、设备、介质及程序产品 |
| CN114095744B (zh) * | 2021-11-16 | 2024-01-02 | 北京字跳网络技术有限公司 | 视频直播方法、装置、电子设备及可读存储介质 |
| CN116233382A (zh) * | 2022-01-07 | 2023-06-06 | 深圳看到科技有限公司 | 基于场景要素的三维场景互动视频生成方法及生成装置 |
| CN114666561B (zh) * | 2022-05-25 | 2022-09-06 | 天津安锐捷技术有限公司 | 视频融合方法、装置和系统 |
| CN115174954A (zh) * | 2022-08-03 | 2022-10-11 | 抖音视界有限公司 | 视频直播方法、装置、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004107272A1 (en) * | 2003-05-29 | 2004-12-09 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| CN102576247A (zh) * | 2009-09-16 | 2012-07-11 | 迪斯尼实业公司 | 用于互动电视的超链接3d视频插件 |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
| CN105376547A (zh) * | 2015-11-17 | 2016-03-02 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的微课录制系统及方法 |
| CN105610868A (zh) * | 2016-03-03 | 2016-05-25 | 腾讯科技（深圳）有限公司 | 一种信息交互的方法、设备及系统 |
-
2016
- 2016-09-06 CN CN201610806587.4A patent/CN107801083A/zh active Pending
-
2017
- 2017-09-04 WO PCT/CN2017/100363 patent/WO2018045927A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004107272A1 (en) * | 2003-05-29 | 2004-12-09 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
| CN102576247A (zh) * | 2009-09-16 | 2012-07-11 | 迪斯尼实业公司 | 用于互动电视的超链接3d视频插件 |
| CN102625129A (zh) * | 2012-03-31 | 2012-08-01 | 福州一点通广告装饰有限公司 | 远程真人三维虚拟仿场景互动的实现方法 |
| CN105376547A (zh) * | 2015-11-17 | 2016-03-02 | 广州市英途信息技术有限公司 | 一种基于3d虚拟合成技术的微课录制系统及方法 |
| CN105610868A (zh) * | 2016-03-03 | 2016-05-25 | 腾讯科技（深圳）有限公司 | 一种信息交互的方法、设备及系统 |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108650523B (zh) * | 2018-05-22 | 2021-09-17 | 广州虎牙信息科技有限公司 | 直播间的显示及虚拟物品选取方法、服务器、终端和介质 |
| CN108650523A (zh) * | 2018-05-22 | 2018-10-12 | 广州虎牙信息科技有限公司 | 直播间的显示及虚拟物品选取方法、服务器、终端和介质 |
| CN111292276A (zh) * | 2018-12-07 | 2020-06-16 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
| CN109741466A (zh) * | 2018-12-20 | 2019-05-10 | 北京惠佳家品科技有限公司 | 一种3d家装设计直播平台系统及直播方法 |
| CN109712248A (zh) * | 2018-12-25 | 2019-05-03 | 北京惠佳家品科技有限公司 | 一种基于互联网的3d家装设计平台系统 |
| CN110087128A (zh) * | 2019-04-30 | 2019-08-02 | 广州虎牙信息科技有限公司 | 直播互动方法、直播互动装置及直播设备 |
| CN110087121A (zh) * | 2019-04-30 | 2019-08-02 | 广州虎牙信息科技有限公司 | 虚拟形象显示方法、虚拟形象显示装置和电子设备 |
| CN110087121B (zh) * | 2019-04-30 | 2021-08-06 | 广州虎牙信息科技有限公司 | 虚拟形象显示方法、装置、电子设备和存储介质 |
| CN110691279A (zh) * | 2019-08-13 | 2020-01-14 | 北京达佳互联信息技术有限公司 | 一种虚拟直播的方法、装置、电子设备及存储介质 |
| CN112489121A (zh) * | 2019-09-11 | 2021-03-12 | 丰图科技(深圳)有限公司 | 视频融合方法、装置、设备、及存储介质 |
| CN111225219A (zh) * | 2019-11-26 | 2020-06-02 | 深圳英伦科技股份有限公司 | 一种基于5g网络的光场三维浸入式体验信息传输方法及系统 |
| CN111050187A (zh) * | 2019-12-09 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种虚拟视频处理的方法、装置及存储介质 |
| CN111050187B (zh) * | 2019-12-09 | 2020-12-15 | 腾讯科技（深圳）有限公司 | 一种虚拟视频处理的方法、装置及存储介质 |
| CN112995753B (zh) * | 2019-12-16 | 2024-03-22 | 中兴通讯股份有限公司 | 一种媒体流分发方法、cdn节点服务器、cdn系统和可读存储介质 |
| CN112995753A (zh) * | 2019-12-16 | 2021-06-18 | 中兴通讯股份有限公司 | 一种媒体流分发方法、cdn节点服务器、cdn系统和可读存储介质 |
| CN114079799A (zh) * | 2020-08-21 | 2022-02-22 | 上海昊骇信息科技有限公司 | 一种基于虚拟现实的音乐直播系统和方法 |
| CN114079803A (zh) * | 2020-08-21 | 2022-02-22 | 上海昊骇信息科技有限公司 | 一种基于虚拟现实的音乐直播方法和系统 |
| CN112017264B (zh) * | 2020-09-10 | 2023-09-26 | 网易（杭州）网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
| CN112017264A (zh) * | 2020-09-10 | 2020-12-01 | 网易（杭州）网络有限公司 | 虚拟演播厅的显示控制方法及装置、存储介质、电子设备 |
| CN112565799A (zh) * | 2020-11-26 | 2021-03-26 | 北京达佳互联信息技术有限公司 | 视频数据处理方法和装置 |
| CN112804516A (zh) * | 2021-04-08 | 2021-05-14 | 北京世纪好未来教育科技有限公司 | 一种视频播放方法、装置、可读存储介质、电子设备 |
| CN113096006A (zh) * | 2021-04-19 | 2021-07-09 | 上海跃影科技有限公司 | 一种应用于全息场景的文件同步方法和系统 |
| CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114302153B (zh) * | 2021-11-25 | 2023-12-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
| CN114827746A (zh) * | 2022-03-30 | 2022-07-29 | 阿里巴巴（中国）有限公司 | 视频播放控制方法、装置、电子设备、介质及程序产品 |
| CN114827746B (zh) * | 2022-03-30 | 2024-05-10 | 神力视界(深圳)文化科技有限公司 | 视频播放控制方法、装置、电子设备、介质及程序产品 |
| CN115379250A (zh) * | 2022-07-22 | 2022-11-22 | 广州博冠信息科技有限公司 | 视频处理方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018045927A1 (zh) | 2018-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107801083A (zh) | 一种基于三维虚拟技术的网络实时互动直播方法及装置 | |
| CN109195020B (zh) | 一种ar增强的游戏直播方法和系统 | |
| CN106789991B (zh) | 一种基于虚拟场景的多人互动网络直播方法及系统 | |
| US10229651B2 (en) | Variable refresh rate video capture and playback | |
| CN106792214A (zh) | 一种基于数字视听场所的直播互动方法和系统 | |
| CN112585978B (zh) | 生成用于在vr中显示的复合视频流 | |
| CN108648257B (zh) | 全景画面的获取方法、装置、存储介质及电子装置 | |
| CN105227963B (zh) | 对终端进行流媒体采集自动识别方向并调整的方法及系统 | |
| CN105740029B (zh) | 一种内容呈现的方法、用户设备及系统 | |
| CN106792246A (zh) | 一种融合式虚拟场景互动的方法及系统 | |
| CN106713988A (zh) | 一种对虚拟场景直播进行美颜处理的方法及系统 | |
| CN106621326A (zh) | 利用云转变的本地应用快速启动 | |
| CN113457160B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN105847718B (zh) | 基于场景识别的直播视频弹幕显示方法及其显示装置 | |
| CN106792228A (zh) | 一种直播互动方法和系统 | |
| CN104602127B (zh) | 导播视频同步播放方法和系统以及视频导播设备 | |
| CN107241654A (zh) | 一种云端加速渲染集群全景游戏直播系统及方法 | |
| CN105556574A (zh) | 渲染设备、其渲染方法、程序和记录介质 | |
| CN112423110A (zh) | 直播视频数据生成方法、装置及直播视频播放方法、装置 | |
| CN112019907A (zh) | 直播画面分流方法、计算机设备及可读存储介质 | |
| CN108833809A (zh) | 一种视频混流控制方法、装置、系统、设备及介质 | |
| CN107637082A (zh) | 信息处理装置以及信息处理方法 | |
| CN108289231A (zh) | 一种融合的全景播放器 | |
| WO2020258907A1 (zh) | 虚拟物品的生成方法、装置及设备 | |
| CN113781660A (zh) | 一种用于直播间在线渲染加工虚拟场景的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180313 |
|
| RJ01 | Rejection of invention patent application after publication |