CN106713889A - 3d画面的渲染方法和系统、及移动终端 - Google Patents
3d画面的渲染方法和系统、及移动终端 Download PDFInfo
- Publication number
- CN106713889A CN106713889A CN201510777414.XA CN201510777414A CN106713889A CN 106713889 A CN106713889 A CN 106713889A CN 201510777414 A CN201510777414 A CN 201510777414A CN 106713889 A CN106713889 A CN 106713889A
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- rendered
- background
- pictures
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 38
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 abstract description 10
- 230000004044 response Effects 0.000 abstract description 10
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 230000003139 buffering effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
- H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种3D画面的渲染方法和系统、及移动终端，涉及人机交互技术领域，其中，方法包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。本发明实施例既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。
Description
技术领域
本发明涉及人机交互技术领域，尤其是一种3D画面的渲染方法和系统、及移动终端。
背景技术
随着移动终端及4G等网络能力的不断提升，诸如移动在线游戏、移动立体导航、AR(Augmented Reality，增强型虚拟现实)等3D交互式应用日益普及，3D内容持续丰富，并不断给用户带来全新的视觉冲击与沉浸式体验。
然而，复杂3D立体场景、实时全局/间接光照(Real-time GlobalIllumination)等新一代3D渲染技术对大规模图形数据处理能力要求极高，而移动终端因处理、存储能力及能耗受限，无法应用上述技术，从而限制了移动终端3D应用领域及效果的呈现。
鉴于此，业界提出了基于云服务器的实时渲染技术，由云端负责全部3D画面计算，然后以压缩帧的图像方式或者是纯视频方式传输给终端显示。然而，这种方式仍存在如下问题：
一、云端渲染负载较大。云端需按终端原始分辨率计算渲染所有画面，并将其进行高分辨率实时视频编码，云端需要巨大的计算处理能力，导致云端负载量大，服务成本过高，难以服务于海量并发用户；
二、实时交互性较差。纯云端计算方式渲染效率和传输效率相对较低，难以应用于实时交互响应要求较高(例如>30fps)的3D应用场合，该问题在信道容量及QoS(Quality of Service，服务质量)相对难以保障的移动应用场合下尤为显著；
三、难以保障画面质量。简单的云视频传输方式无法灵活适应移动信道容量及QoS等随机因素的变化，不便于保障画面质量，导致画面模糊、走样，该问题在具备大分辨率的移动终端上尤为显著。
发明内容
本发明实施例所要解决的其中一个技术问题是：提供一种3D画面的渲染方法和系统、及移动终端，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。
根据本发明的一方面，提供一种3D画面的渲染方法，包括：移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；移动终端对3D前景画面进行渲染以得到3D前景渲染画面；移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。
在一个实施例中，所述3D背景渲染画面的分辨率小于移动终端的分辨率；所述方法还包括：移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
在一个实施例中，移动终端还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；所述移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。
在一个实施例中，所述时域超采样控制信息还包括像素区域划分方式；所述移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面包括：移动终端根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；移动终端在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；移动终端计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。
在一个实施例中，n个面积均等的区域为扇形。
在一个实施例中，所述方法还包括：云端接收渲染当前帧3D背景画面所需的应用信息；云端根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；云端根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。
在一个实施例中，所述云端根据所述场景描述信息获取3D背景渲染画面并输出到移动终端包括：云端根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；如果场景缓冲数据库中已有当前帧3D背景渲染画面，则云端直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；如果场景缓冲数据库中没有当前帧3D背景渲染画面，则云端根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。
在一个实施例中，所述场景描述信息是无状态信息。
根据本发明的另一方面，提供一种移动终端，包括：接收单元，用于接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；前景渲染单元，用于对3D前景画面进行渲染以得到3D前景渲染画面；合成单元，用于将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。
在一个实施例中，所述3D背景渲染画面的分辨率小于移动终端的分辨率；所述移动终端还包括：重建单元，用于将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
在一个实施例中，所述接收单元，还用于还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；所述重建单元包括：缓存模块，用于根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；重建模块，用于将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。
在一个实施例中，所述时域超采样控制信息还包括像素区域划分方式；所述重建模块包括：划分子模块，用于根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；采样子模块，用于在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；计算子模块，用于计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。
在一个实施例中，n个面积均等的区域为扇形。
根据本发明的又一方面，提供一种3D画面的渲染系统，包括：上述任意一个实施例所述的移动终端和云端。
在一个实施例中，所述云端包括：接收单元，用于接收渲染当前帧3D背景画面所需的应用信息；同步单元，用于根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；背景渲染单元，用于根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。
在一个实施例中，所述背景渲染单元包括：判断模块，用于根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；调用模块，用于在场景缓冲数据库中已有当前帧3D背景渲染画面的情况下直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；背景渲染模块，用于在场景缓冲数据库中没有当前帧3D背景渲染画面的情况下根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。
在一个实施例中，所述场景描述信息是无状态信息。
本发明由云端和移动终端分别负责大面积的3D背景画面和小面积的3D前景画面的渲染，可以兼顾移动终端和云端的渲染能力，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明3D画面的渲染方法一个实施例的流程示意图；
图2是本发明3D画面的渲染方法另一个实施例的流程示意图；
图3是本发明3D画面的渲染方法又一个实施例的流程示意图；
图4示出了本发明像素区域划分方式与现有的像素区域划分方式的对比示意图；
图5是本发明3D画面的渲染方法再一个实施例的流程示意图；
图6是本发明3D画面的渲染方法还一个实施例的流程示意图；
图7是本发明移动终端一个实施例的结构示意图；
图8是本发明移动终端另一个实施例的结构示意图；
图9是本发明3D画面的渲染系统一个实施例的结构示意图；
图10是本发明3D画面的渲染系统的架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1是本发明3D画面的渲染方法一个实施例的流程示意图。如图1所示，该方法包括如下步骤：
步骤102，移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面。
这里，将3D画面分为大面积的3D背景画面和小面积的3D前景画面，由云端负责3D背景画面的渲染，并输出到移动终端。另外，在一个实施例中，也可以将3D背景渲染画面编码成视频流并封装成复用码流后再输出到移动终端。例如，可以使用云端实时编码器采用诸如H.264的标准视频编码机制将3D背景渲染画面编码成视频流，然后通过云端码流-传输服务器将视频流进行封装，最终生成可以供网络传输的复用码流形式，再经由接入服务器通过网络传输至移动终端。
步骤104，移动终端对3D前景画面进行渲染以得到3D前景渲染画面。
3D前景画面通常为小面积的焦点画面，由移动终端3D前景画面进行渲染可以分担云端的压力，提高渲染效率和交互响应效率。
步骤106，移动终端将3D背景渲染画面和3D前景渲染画面合成为3D渲染画面。
作为与用户的交互反馈，移动终端在合成3D渲染画面后可以将其输出。另外，如果移动终端接收到的3D背景渲染画面为复用码流的形式，则先对复用码流进行解码，然后执行上述合成操作。
本实施例中，由云端和移动终端分别负责大面积的3D背景画面和小面积的3D前景画面的渲染，可以兼顾移动终端和云端的渲染能力，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。
现有技术中，云端按照移动终端的原始分辨率渲染所有3D画面，对云端的计算处理能力要求很高，云端服务成本也很高。图2是本发明3D画面的渲染方法另一个实施例的流程示意图。如图2所示，该实施例的方法包括如下步骤：
步骤102，移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面。
这里，3D背景渲染画面的分辨率小于移动终端的分辨率。在实际应用中，云端的渲染分辨率可以根据移动终端设备及网络传输能力进行灵活调整，从而实现重建画质效果与交互式响应效果的平衡。
步骤202，移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
可选地，可以对重建后的3D背景渲染画面进行反走样处理。
步骤104，移动终端对3D前景画面进行渲染以得到3D前景渲染画面。
步骤106，移动终端将3D背景渲染画面和3D前景渲染画面合成为3D渲染画面。
需要说明的是，步骤102、步骤104、步骤106的具体实现可以参照图1所示实施例的描述，在此不再赘述。另外，上述步骤并非必然表示严格的时序步骤，例如步骤202也可以步骤104之后执行。
本实施例中，由云端生成小于移动终端设备的分辨率的3D背景渲染画面，然后传输给移动终端，移动终端再将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面，可以进一步降低对云端的要求，减轻了云端的压力和服务成本，进一步提高了渲染效率和交互响应效率。
图2所示步骤202中重建3D背景渲染画面的方式可以有多种。为了兼顾渲染效率和画面质量，本发明提供了一种基于时域超采样的重建方式。下面结合图3所示实施例进行详细说明。
图3是本发明3D画面的渲染方法又一个实施例的流程示意图。该实施例的步骤102中，移动终端还接收云端输出的时域超采样控制信息，该时域超采样控制信息可以包括采样数量n和/或像素区域划分方式。其中n为大于1的整数，优选地，1<n≤8。n可以根据移动终端应用的实时响应需求、画质质量要求及显示适配策略而动态调整，或者，也可以人为配置。如图3所示，该实施例中的步骤202可以包括：
步骤212，移动终端根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存，例如缓存到缓冲区。这里，连续n帧3D背景渲染画面的分辨率小于移动终端的分辨率。
步骤222，移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面。
本实施例将分辨率小于移动终端的分辨率的连续n帧3D背景渲染画面重建为一帧具有移动终端的分辨率的3D背景渲染画面可以提高画面质量。
作为步骤222的一种实现方式，移动终端可以根据时域超采样控制信息中的像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域，本发明提出将一个像素的像素区域划分为n个面积均等的扇形，后文将作详细说明。
然后，移动终端在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素，该n个子像素即为云端输出的连续n帧3D背景渲染画面。
最后，移动终端计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。通过上述方法，移动终端可以得到每个需要重建像素的像素值，从而完成3D背景渲染画面的重建。
移动终端完成一帧具有移动终端的分辨率的3D背景渲染画面的重建之后，执行后续步骤106中将该帧3D背景渲染画面和该帧前景渲染画面进行合成的操作。
另外，移动终端在完成每一帧3D背景渲染画面和前景渲染画面的合成操作之后，可以将帧传输延迟、实时帧频、画面重建时间、缓冲区占用率等一系列性能统计信息随同交互控制信息一并反馈给云端。云端可以利用性能统计信息判断是否需要对时域超采样控制信息及其生成的背景渲染画面的分辨率进行动态调整，如果需调整，则云端在对下一帧3D背景画面渲染时将3D背景画面渲染成调整后的分辨率，并将3D背景渲染画面和调整之后的时域超采样控制信息封装在可复用传输视频流中输出到移动终端，以便移动终端侧根据时域超采样控制信息及时进行同步调整。
图4示出了本发明像素区域划分方式与现有的像素区域划分方式的对比示意图。如图4所示，现有的像素区域划分方式均是将一个正方形的像素区域完全划分为正方形或三角形区域。而本发明将一个像素的像素区域划分为n个面积均等的扇形，即将正方形像素区域的内切圆均分为n个面积均等的扇形。这种方式可以实现单像素区域范围内均匀采样区域的任意数量划分，且具备旋转不变性，从而可实现子像素采样数量的平滑动态调整。例如，按照本发明的像素区域划分方式，在从4个子像素均匀采样方式(即，连续4帧混合)平滑切换至5个子像素采样方式(即，连续5帧混合)时，可以利用可旋转特性，选择最佳的划分位置，从而尽可能重用已有的采样点，以尽可能地保障过渡时期的合成画面质量。
图5是本发明3D画面的渲染方法再一个实施例的流程示意图。如图5所示，与图1所示实施例相比，该实施例的方法还包括如下步骤：
步骤502，云端接收渲染当前帧3D背景画面所需的应用信息。
这里，应用信息包括但不限于移动终端的镜头信息，例如镜头位置和镜头指向。移动终端可以将应用信息以及用户键控等交互控制信息传输给云端的接入服务器，通过负载均衡调度给相应的云端逻辑服务器进行处理。
步骤504，云端根据应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息。
这里，场景描述信息包括应用信息以及根据应用信息得到的3D模型列表信息。云端逻辑服务器可以对应用信息执行相应的逻辑运算，实现与终端的帧状态同步，并根据应用信息得到3D模型列表信息，然后将场景描述信息调度给云端渲染集群进行处理。例如，云端逻辑服务器根据镜头指向裁剪3D模型列表，从而得到渲染当前帧3D背景画面所需的3D模型列表信息。优选地，场景描述信息是无状态信息，从而可以进一步减小云端的压力。
步骤506，云端根据场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。之后，执行后续步骤102-步骤106的操作。
图6是本发明3D画面的渲染方法还一个实施例的流程示意图。如图6所示，该实施例中的步骤506可以包括：
步骤516，云端根据场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；如果是，即场景缓冲数据库中已有当前帧3D背景渲染画面，则执行步骤526，如果否，即，场景缓冲数据库中没有当前帧3D背景渲染画面，则执行步骤536。
步骤526，云端直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端。
步骤536，云端根据场景描述信息从场景数据库中调用相应的场景信息，根据场景描述信息对场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与场景描述信息对应地保存至场景缓冲数据库。这里，场景数据库中包括渲染所需的3D模型、贴图、材质、Shader等信息。云端渲染生成的3D背景画面包括RGBA四个颜色通道，且其像素分辨率大小为移动终端原始像素分辨率大小的m倍(0.5≤m≤1)，在实际应用中，m的具体取值可随移动终端/信道适配策略动态调整。
本实施例将3D背景渲染画面与场景描述信息对应地保存至场景缓冲数据库，与传统的单用户渲染服务应用场景相比，本实施例可以实现云端渲染场景的跨用户会话缓冲共享的目的。
另外，云端除生成3D背景渲染画面之外，云端还可选地将生成时域超采样控制信息，如采样数量和像素区域划分方式等；并且还将可选地生成其他的相关场景信息，如单色通道的屏幕空间深度图(DepthMap)、场景主灯光阴影图(Shadow Map)等，以辅助后续移动终端对3D前景画面的渲染计算。上述相关场景信息可以根据移动终端侧应用的需求选择性地输出。
上述3D画面的渲染方法适于但不限于移动3D在线游戏、立体导航、增强型虚拟现实等移动交互应用，利用上述方法可以有效解决移动终端设备3D实时渲染能力不足的问题，同时有效改善传统渲染云端所存在的云端负载量大、处理能力不足，画面显示延迟时间较长、交互式响应迟钝等问题，进而极大提升移动3D在线游戏、立体导航等交互式3D应用的体验。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于移动终端和系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图7是本发明移动终端一个实施例的结构示意图。如图7所示，该移动终端包括：
接收单元701，用于接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；
前景渲染单元702，用于对3D前景画面进行渲染以得到3D前景渲染画面；
合成单元703，用于将3D背景渲染画面和3D前景渲染画面合成为3D渲染画面。
本实施例中，由云端和移动终端分别负责大面积的3D背景画面和小面积的3D前景画面的渲染，可以兼顾移动终端和云端的渲染能力，既能解决移动终端3D画面渲染能力不足的问题，又能提升3D画面的渲染效率和交互响应效率。
图8是本发明移动终端另一个实施例的结构示意图。该实施例中，接收单元701接收到的3D背景渲染画面的分辨率小于移动终端的分辨率。如图8所示，移动终端还包括：
重建单元801，用于将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
在一个实施例中，参见图8，接收单元701，还用于还接收云端输出的时域超采样控制信息，时域超采样控制信息包括采样数量n。该实施例中的重建单元801包括：
缓存模块811，用于根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；
重建模块821，用于将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。
本实施例将分辨率小于移动终端的分辨率的连续n帧3D背景渲染画面重建为一帧具有移动终端的分辨率的3D背景渲染画面可以提高画面质量。
在另一个实施例中，时域超采样控制信息还包括像素区域划分方式；重建模块821包括：
划分子模块，用于根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域。在一个实施例中，n个面积均等的区域为扇形。
采样子模块，用于在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素。
计算子模块，用于计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。
本实施例中的像素区域划分方式可以实现单像素区域范围内均匀采样区域的任意数量划分，且具备旋转不变性，从而可实现子像素采样数量的平滑动态调整。
本发明还提供了一种3D画面的渲染系统，包括上述任意一个实施例所述的移动终端和云端。
图9是本发明3D画面的渲染系统一个实施例的结构示意图。如图9所示，云端包括：
接收单元901，用于接收渲染当前帧3D背景画面所需的应用信息。
同步单元902，用于根据应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息。在一个实施例中，场景描述信息是无状态信息。
背景渲染单元903，用于根据场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。
在本发明3D画面的渲染系统的另一个实施例中，背景渲染单元903可以包括：
判断模块，用于根据场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；
调用模块，用于在场景缓冲数据库中已有当前帧3D背景渲染画面的情况下直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；
背景渲染模块，用于在场景缓冲数据库中没有当前帧3D背景渲染画面的情况下根据场景描述信息从场景数据库中调用相应的场景信息，根据场景描述信息对场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与场景描述信息对应地保存至场景缓冲数据库。
本实施例中，云端将3D背景渲染画面与场景描述信息对应地保存至场景缓冲数据库，与传统的单用户渲染服务应用场景相比，本实施例可以实现云端渲染场景的跨用户会话缓冲共享的目的。
需要说明的是，上述3D画面的渲染系统中各单元/模块所实现的功能可以用一个设备来实现，也可以利用两个或多个独立的设备来实现，例如接收单元、同步单元和背景渲染单元所实现的功能可以用多个服务器来实现。
图10是本发明3D画面的渲染系统的架构示意图。图9所示的接收单元901、同步单元902和背景渲染单元903可以分别采用图10所示的前端接入服务器1002、逻辑服务器集群1003、云端渲染集群1004来实现。另外，还可以设置视频编码集群1005和码流封装-传输服务器集群1006，其中，实时视频编码集群1005将云端渲染集群1004输出的小分辨率3D背景渲染画面编码为视频码流；前端码流封装-传输服务器1005负责将云端渲染集群1004输出的时域超采样控制信息、场景信息、以及实时视频编码集群1005输出的视频流封装为时间轴上同步的复用码流，最终由经接入服务器1002传输给移动终端1001。然后，移动终端1001可以通过上述各实施例所述的方法进行3D画面的渲染。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
Claims (17)
1.一种3D画面的渲染方法，其特征在于，包括：
移动终端接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；
移动终端对3D前景画面进行渲染以得到3D前景渲染画面；
移动终端将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。
2.根据权利要求1所述的方法，其特征在于，所述3D背景渲染画面的分辨率小于移动终端的分辨率；
所述方法还包括：
移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
3.根据权利要求2所述的方法，其特征在于，移动终端还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；
所述移动终端将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面包括：
移动终端根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；
移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。
4.根据权利要求3所述的方法，其特征在于，所述时域超采样控制信息还包括像素区域划分方式；
所述移动终端将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面包括：
移动终端根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；
移动终端在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；
移动终端计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。
5.根据权利要求4所述的方法，其特征在于，n个面积均等的区域为扇形。
6.根据权利要求1所述的方法，其特征在于，还包括：
云端接收渲染当前帧3D背景画面所需的应用信息；
云端根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；
云端根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。
7.根据权利要求6所述的方法，其特征在于，所述云端根据所述场景描述信息获取3D背景渲染画面并输出到移动终端包括：
云端根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；
如果场景缓冲数据库中已有当前帧3D背景渲染画面，则云端直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；
如果场景缓冲数据库中没有当前帧3D背景渲染画面，则云端根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。
8.根据权利要求6或7所述的方法，其特征在于，所述场景描述信息是无状态信息。
9.一种移动终端，其特征在于，包括：
接收单元，用于接收云端对3D背景画面进行渲染后输出的3D背景渲染画面；
前景渲染单元，用于对3D前景画面进行渲染以得到3D前景渲染画面；
合成单元，用于将所述3D背景渲染画面和所述3D前景渲染画面合成为3D渲染画面。
10.根据权利要求9所述的移动终端，其特征在于，所述3D背景渲染画面的分辨率小于移动终端的分辨率；
所述移动终端还包括：
重建单元，用于将接收到的3D背景渲染画面重建为具有移动终端的分辨率的3D背景渲染画面。
11.根据权利要求10所述的移动终端，其特征在于，
所述接收单元，还用于还接收云端输出的时域超采样控制信息，所述时域超采样控制信息包括采样数量n；
所述重建单元包括：
缓存模块，用于根据采样数量n将云端输出的连续n帧3D背景渲染画面缓存；
重建模块，用于将缓存的第n帧3D背景渲染画面和第n帧之前的n-1帧3D背景渲染画面重建成一帧具有移动终端的分辨率的3D背景渲染画面，其中n为大于1的整数。
12.根据权利要求11所述的移动终端，其特征在于，所述时域超采样控制信息还包括像素区域划分方式；
所述重建模块包括：
划分子模块，用于根据像素区域划分方式将需要重建的每个像素的像素区域划分为n个面积均等的区域；
采样子模块，用于在每个区域中各进行一次随机采样，从而获取到每个像素所对应的n个子像素；
计算子模块，用于计算每个像素所对应的n个子像素的像素值的平均值，并将该平均值作为相应像素的像素值。
13.根据权利要求12所述的移动终端，其特征在于，n个面积均等的区域为扇形。
14.一种3D画面的渲染系统，其特征在于，包括：权利要求9-12任意一项所述的移动终端和云端。
15.根据权利要求14所述的系统，其特征在于，所述云端包括：
接收单元，用于接收渲染当前帧3D背景画面所需的应用信息；
同步单元，用于根据所述应用信息实现与终端的帧状态同步，并获取渲染当前帧3D背景画面所需的场景描述信息；
背景渲染单元，用于根据所述场景描述信息获取当前帧3D背景渲染画面并输出到移动终端。
16.根据权利要求15所述的系统，其特征在于，所述背景渲染单元包括：
判断模块，用于根据所述场景描述信息判断场景缓冲数据库中是否已有当前帧3D背景渲染画面；
调用模块，用于在场景缓冲数据库中已有当前帧3D背景渲染画面的情况下直接从场景缓冲数据库调用当前帧3D背景渲染画面并输出到移动终端；
背景渲染模块，用于在场景缓冲数据库中没有当前帧3D背景渲染画面的情况下根据所述场景描述信息从场景数据库中调用相应的场景信息，根据所述场景描述信息对所述场景信息进行渲染生成当前帧3D背景渲染画面，并将新生成的当前帧3D背景渲染画面与所述场景描述信息对应地保存至所述场景缓冲数据库。
17.根据权利要求15或16所述的系统，其特征在于，所述场景描述信息是无状态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510777414.XA CN106713889B (zh) | 2015-11-13 | 2015-11-13 | 3d画面的渲染方法和系统、及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510777414.XA CN106713889B (zh) | 2015-11-13 | 2015-11-13 | 3d画面的渲染方法和系统、及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106713889A true CN106713889A (zh) | 2017-05-24 |
| CN106713889B CN106713889B (zh) | 2019-05-28 |
Family
ID=58930300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510777414.XA Active CN106713889B (zh) | 2015-11-13 | 2015-11-13 | 3d画面的渲染方法和系统、及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106713889B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274469A (zh) * | 2017-06-06 | 2017-10-20 | 清华大学 | 面向虚拟现实的协同渲染方法 |
| CN109173244A (zh) * | 2018-08-20 | 2019-01-11 | 贵阳动视云科技有限公司 | 游戏运行方法及装置 |
| CN111290124A (zh) * | 2020-03-31 | 2020-06-16 | 北京塞傲时代信息技术有限公司 | 基于5g云渲染的vr眼镜 |
| CN111359204A (zh) * | 2020-03-08 | 2020-07-03 | 北京智明星通科技股份有限公司 | 一种手机游戏场景的渲染方法、装置及移动终端 |
| CN111988598A (zh) * | 2020-09-09 | 2020-11-24 | 江苏普旭软件信息技术有限公司 | 一种基于远近景分层渲染的视景图像生成方法 |
| CN113852841A (zh) * | 2020-12-23 | 2021-12-28 | 上海飞机制造有限公司 | 一种可视化场景建立方法、装置、设备、介质和系统 |
| CN114153539A (zh) * | 2020-12-31 | 2022-03-08 | 万翼科技有限公司 | 前端应用界面生成方法、装置、电子设备和存储介质 |
| CN114501062A (zh) * | 2022-01-27 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
| CN116758201A (zh) * | 2023-08-16 | 2023-09-15 | 淘宝（中国）软件有限公司 | 三维场景的渲染处理方法、设备、系统及计算机存储介质 |
| CN116866621A (zh) * | 2023-09-05 | 2023-10-10 | 湖南马栏山视频先进技术研究院有限公司 | 一种面向视频实时渲染的云端同步方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645176A (zh) * | 2008-08-06 | 2010-02-10 | 刘俊杰 | 一种用于网络的三维图像交互技术 |
| CN102663804A (zh) * | 2012-03-02 | 2012-09-12 | 赞奇科技发展有限公司 | 一种交互式图形快速渲染方法 |
| CN102930592A (zh) * | 2012-11-16 | 2013-02-13 | 李金地 | 基于统一资源定位符解析的云计算渲染方法 |
| CN104349020A (zh) * | 2014-12-02 | 2015-02-11 | 北京中科大洋科技发展股份有限公司 | 一种虚拟摄像机与真实摄像机切换的系统和方法 |
| US20150116458A1 (en) * | 2013-10-30 | 2015-04-30 | Barkatech Consulting, LLC | Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications |
| CN104768023A (zh) * | 2014-01-02 | 2015-07-08 | 优必达公司 | 通过网络传送媒体的系统及方法 |
-
2015
- 2015-11-13 CN CN201510777414.XA patent/CN106713889B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101645176A (zh) * | 2008-08-06 | 2010-02-10 | 刘俊杰 | 一种用于网络的三维图像交互技术 |
| CN102663804A (zh) * | 2012-03-02 | 2012-09-12 | 赞奇科技发展有限公司 | 一种交互式图形快速渲染方法 |
| CN102930592A (zh) * | 2012-11-16 | 2013-02-13 | 李金地 | 基于统一资源定位符解析的云计算渲染方法 |
| US20150116458A1 (en) * | 2013-10-30 | 2015-04-30 | Barkatech Consulting, LLC | Method and apparatus for generating enhanced 3d-effects for real-time and offline appplications |
| CN104768023A (zh) * | 2014-01-02 | 2015-07-08 | 优必达公司 | 通过网络传送媒体的系统及方法 |
| CN104349020A (zh) * | 2014-12-02 | 2015-02-11 | 北京中科大洋科技发展股份有限公司 | 一种虚拟摄像机与真实摄像机切换的系统和方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107274469A (zh) * | 2017-06-06 | 2017-10-20 | 清华大学 | 面向虚拟现实的协同渲染方法 |
| CN109173244A (zh) * | 2018-08-20 | 2019-01-11 | 贵阳动视云科技有限公司 | 游戏运行方法及装置 |
| CN111359204A (zh) * | 2020-03-08 | 2020-07-03 | 北京智明星通科技股份有限公司 | 一种手机游戏场景的渲染方法、装置及移动终端 |
| CN111290124A (zh) * | 2020-03-31 | 2020-06-16 | 北京塞傲时代信息技术有限公司 | 基于5g云渲染的vr眼镜 |
| CN111988598A (zh) * | 2020-09-09 | 2020-11-24 | 江苏普旭软件信息技术有限公司 | 一种基于远近景分层渲染的视景图像生成方法 |
| CN113852841A (zh) * | 2020-12-23 | 2021-12-28 | 上海飞机制造有限公司 | 一种可视化场景建立方法、装置、设备、介质和系统 |
| CN114153539A (zh) * | 2020-12-31 | 2022-03-08 | 万翼科技有限公司 | 前端应用界面生成方法、装置、电子设备和存储介质 |
| CN114501062A (zh) * | 2022-01-27 | 2022-05-13 | 腾讯科技（深圳）有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
| CN114501062B (zh) * | 2022-01-27 | 2023-02-21 | 腾讯科技（深圳）有限公司 | 视频渲染协同方法、装置、设备及存储介质 |
| CN116758201A (zh) * | 2023-08-16 | 2023-09-15 | 淘宝（中国）软件有限公司 | 三维场景的渲染处理方法、设备、系统及计算机存储介质 |
| CN116758201B (zh) * | 2023-08-16 | 2024-01-12 | 淘宝（中国）软件有限公司 | 三维场景的渲染处理方法、设备、系统及计算机存储介质 |
| CN116866621A (zh) * | 2023-09-05 | 2023-10-10 | 湖南马栏山视频先进技术研究院有限公司 | 一种面向视频实时渲染的云端同步方法及系统 |
| CN116866621B (zh) * | 2023-09-05 | 2023-11-03 | 湖南马栏山视频先进技术研究院有限公司 | 一种面向视频实时渲染的云端同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106713889B (zh) | 2019-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106713889A (zh) | 3d画面的渲染方法和系统、及移动终端 | |
| CN105263050B (zh) | 基于云平台的移动终端实时渲染系统及其方法 | |
| CN110226316A (zh) | 用于对虚拟现实视频执行转换及流传输的系统及方法 | |
| CN100588250C (zh) | 一种多视点视频流的自由视点视频重建方法及系统 | |
| CN101123723B (zh) | 基于图形处理器的数字视频解码方法 | |
| CN106527857A (zh) | 一种基于虚拟现实的全景视频交互方法 | |
| US11862128B2 (en) | Systems and methods for foveated rendering | |
| US9760968B2 (en) | Reduction of graphical processing through coverage testing | |
| CN107439010A (zh) | 流传输球形视频 | |
| CN106210883A (zh) | 一种视频渲染的方法、设备 | |
| CN108235053B (zh) | 交互式渲染方法、设备、终端和系统 | |
| CN101895634A (zh) | 一种实现移动终端界面动态切换的方法和装置 | |
| US10861422B1 (en) | Display rendering | |
| CN103164845A (zh) | 一种实时图像去雾装置及方法 | |
| CN108848325A (zh) | 一种基于自然图像抠像的视频合成方法 | |
| CN107424202A (zh) | 基于pbrt的大规模三维群体表演动画并行渲染方法 | |
| CN107562185B (zh) | 一种基于头戴vr设备的光场显示系统及实现方法 | |
| CN110213640A (zh) | 虚拟物品的生成方法、装置及设备 | |
| CN112533005B (zh) | 一种vr视频慢直播的交互方法及系统 | |
| WO2019239396A1 (en) | Method and system for automatic real-time frame segmentation of high resolution video streams into constituent features and modifications of features in each frame to simultaneously create multiple different linear views from same video source | |
| CN110572715B (zh) | 一种解决Android TV播放webp卡顿的方法 | |
| CN106954092A (zh) | 一种基于云计算的虚拟现实自行车实现方法 | |
| CN104836970B (zh) | 基于gpu实时视频处理的多投影融合方法和系统 | |
| CN102857534B (zh) | 一种基于云计算的远程交互方法 | |
| CN102572297B (zh) | 一种高效高质量的视频特效的渲染方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |