CN116761018B - 一种基于云平台的实时渲染系统 - Google Patents
一种基于云平台的实时渲染系统 Download PDFInfo
- Publication number
- CN116761018B CN116761018B CN202311042478.6A CN202311042478A CN116761018B CN 116761018 B CN116761018 B CN 116761018B CN 202311042478 A CN202311042478 A CN 202311042478A CN 116761018 B CN116761018 B CN 116761018B
- Authority
- CN
- China
- Prior art keywords
- video
- dynamic
- execution unit
- cloud
- video frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims abstract description 102
- 238000012216 screening Methods 0.000 claims description 48
- 238000012512 characterization method Methods 0.000 claims description 44
- 238000007405 data analysis Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 16
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000003139 buffering effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及视频渲染领域，尤其涉及一种基于云平台的实时渲染系统，本发明通过设置云端渲染模块、缓冲模块以及控制模块，通过对接入云端渲染模块的视频数据进行缓冲存储，通过控制单元将视频数据划分为若干视频分段基于图像参数计算动态表征系数，并对应划分视频分段的动态类型，基于各视频分段的动态类型以不同的筛选方式筛选视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，对处于第一动态类型的视频分段每隔筛选数量从视频分段中筛选出视频帧，对于第二动态类型的视频分段基于视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量对视频分段进行筛选，在保证视觉效果的前提下减小渲染数据量提高云端渲染的效率。
Description
技术领域
本发明涉及视频渲染领域，尤其涉及一种基于云平台的实时渲染系统。
背景技术
云端渲染是一种将计算任务和图形渲染操作移至云端服务器进行处理的技术，传统上，在进行图形渲染时，移动端需要具备一定的处理能力和显卡性能才能完成渲染任务，而云端渲染通过将渲染任务发送到云端服务器进行处理，可以将渲染负载从本地设备转移到云端服务器上，尤其是随着互联网技术的进步，云端渲染应用于各个领域，各类云端渲染系统应运而生。
例如，中国专利申请公开号：CN116382667A，公开了一种交互式云渲染三维可视化开发平台实现方法及系统，所述实现方法包括：客户端向服务器端发起加载场景的请求；所述服务器根据所述请求创建三维实时渲染场景；所述服务器根据所述客户端的交互指令和程序控制指令，在所述三维实时渲染场景中实时渲染三维图像，获得渲染三维图像；所述服务器将所述渲染三维图像进行编码，形成流视频，并发送至所述客户端；所述客户端加载所述流视频，并进行显示；所述客户端的用户人机接口交互指令和二次开发接口指令发送至所述服务器。服务器端三维渲染程序根据客户端发送的人机交互指令和程序接口控制指令进行相应的状态变化。
但是，现有技术中还存在以下问题，
现有的应用于视频交互通话的渲染系统，由于视频传输解码编码以及渲染均需要一定的时间，因此可能会存在一定的迟延，现有技术中，未考虑视频数据本身的内容，基于视频数据的图像参数适应性调整渲染方式，渲染效率不佳。
发明内容
为解决现有技术中，未考虑视频数据本身的内容，基于视频数据的图像参数适应性调整渲染方式，渲染效率不佳的问题，本发明提供一种基于云平台的实时渲染系统，其包括：
云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；
缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；
控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，
所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；
所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，
所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；
或/和，所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。
进一步地，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；
，
公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。
进一步地，所述数据分析单元基于所述动态表征系数划分视频分段的动态类型，其中，
所述数据分析单元将视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，
在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；
在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；
所述预设条件为所述动态表征系数小于所述标准动态对比阈值。
进一步地，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，
所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。
进一步地，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，
，
公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。
进一步地，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，
所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，
若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。
进一步地，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，
所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量与所述剩余视频帧成正相关关系。
进一步地，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，
所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。
进一步地，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，
以及，用以记录所述控制模块所筛选出视频帧对应的排序序号。
进一步地，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，
所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。
与现有技术相比，本发明通过设置云端渲染模块、缓冲模块以及控制模块，通过对接入云端渲染模块的视频数据进行缓冲存储，并通过控制单元将视频数据划分为若干视频分段基于图像参数计算动态表征系数，并对应划分视频分段的动态类型，基于各视频分段的动态类型以不同的筛选方式筛选视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，对处于第一动态类型的视频分段，每隔筛选数量从视频分段中筛选出视频帧，对于第二动态类型的视频分段，基于视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量对视频分段进行筛选，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
尤其，本发明计算动态表征系数，并划分视频分段的动态类型，动态表征系数基于视频帧中特征对象的运动矢量所计算，表征了视频分段中图像的变化趋势，在实际情况中，对于动态表征系数较小的视频分段其一致性较高，对其抽帧后对视觉观感影响较小，而对于动态表征系数较大的视频分段，其一致性较差，对其抽帧后对观感的影响可能较大，因此，本发明对上述两种情况进行数据化区分，便于后续对不同动态类型的视频分段进行处理，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
尤其，本发明对第一动态类型的视频分段进行筛选，每隔筛选数量从视频分段中筛选出视频帧，第一动态类型表征了视频分段一致性较高，因此适应性的筛选出部分视频帧，筛选数量基于视频分段对应的动态表征系数适应性所确定，进而，保证筛选的精确性，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
尤其，本发明对第二动态类型的视频分段进行筛选，计算视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，基于差异参量判定是否筛选出视频帧，在实际情况中，第二动态类型的视频分段表征了一致性较差，但是其中仍然可能存在一些相似性较高的连续视频帧，因此，基于差异参量判定是否筛选出视频帧能够筛选出相似性较高的连续视频帧，进而，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
尤其，本发明基于筛选后剩余视频帧的数量确定需调用云端渲染节点的数量，合理利用云端渲染节点，为每个渲染节点配备一定量的渲染任务，同时调动渲染节点，提高云端渲染的效率。
附图说明
图1为发明实施例的基于云平台的实时渲染系统结构示意图；
图2为发明实施例的控制模块结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1以及图2所示，分别为本发明实施例的基于云平台的实时渲染系统结构示意图以及控制模块结构示意图，本发明的基于云平台的实时渲染系统包括：
云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；
缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；
控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，
所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；
所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，
所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；
或/和，所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。
具体而言，本发明对云端渲染模块的具体结构不做限定，其中的云端渲染节点可以是具备预定渲染功能的渲染组件，只需能完成预定的渲染任务即可，此为现有技术，不再赘述。
具体而言，本发明对缓冲模块的具体构造不做限定，缓冲模块可以是虚拟内存，当数据需要被处理或传输时，它们会被加载到虚拟内存中进行操作，缓冲区的大小可以根据需要进行调整，但受到可用虚拟内存的限制。
具体而言，本发明对控制模块的具体构造不做限定，控制模块可以由逻辑部件组成，逻辑部件包括现场可编程部件、微处理器或计算机。
具体而言，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；
，
公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。
具体而言，本发明对识别视频帧中特征对象的方式不做具体限定，可预先训练能够识别图像中特征对象的图像处理模型，导入控制模块以实现对应的功能，此为现有技术，不再赘述。
具体而言，视频帧中特征对象相对于前一视频帧的运动矢量为视频帧中特征对象中心坐标与前一视频帧相同特征对象的中心坐标的连线所形成的矢量。
本发明计算动态表征系数，并划分视频分段的动态类型，动态表征系数基于视频帧中特征对象的运动矢量所计算，表征了视频分段中图像的变化趋势，在实际情况中，对于动态表征系数较小的视频分段其一致性较高，对其抽帧后对视觉观感影响较小，而对于动态表征系数较大的视频分段，其一致性较差，对其抽帧后对观感的影响可能较大，因此，本发明对上述两种情况进行数据化区分，便于后续对不同动态类型的视频分段进行处理，在保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
具体而言，所述数据分析单元基于所述动态表征系数划分所述视频分段的动态类型，其中，
所述数据分析单元将所述视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，
在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；
在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；
所述预设条件为所述动态表征系数小于所述标准动态对比阈值。
在本实施例中，标准动态对比阈值D0为预先测定所得，其中，采集若干视频样本，计算视频样本对应的动态表征系数，记为实验动态表征系数Dl，设定D0=Dl×g1，g1表示第一精度系数，0.6＜g1＜0.8。
具体而言，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，
所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。
在本实施例中，设置至少三种筛选数量调整方式，其中，
所述执行单元将所述动态表征系数D与预设的第一筛选动态表征系数D1以及第二筛选动态表征系数D2进行对比，
第一调整方式为，所述执行单元将所述筛选数量调整至第一筛选数量N1，N1=[N0×β1]；
第二调整方式为，所述执行单元将所述筛选数量调整至第二筛选数量N2，N2=[N0×β2]；
第三调整方式为，所述执行单元将所述筛选数量调整至第三筛选数量N3，N3=[N0×β3]；
其中，第一调整方式需满足D＞D2，第二调整方式需满足D1≤D≤D2，第三调整方式需满足D＜D1，D1表示第一筛选动态表征系数，D2表示第二筛选动态表征系数，D1以及D2基于D0所确定，在实施例中设定D1=D0×0.7，D2=D0×0.9。
N0表示基础筛选数量，3≤N0≤6，0.3＜β1＜0.4＜β2＜0.5＜β3＜0.6。
本发明对第一动态类型的视频分段进行筛选，每隔筛选数量从视频分段中筛选出视频帧，第一动态类型表征了视频分段一致性较高，因此适应性的筛选出部分视频帧，筛选数量基于视频分段对应的动态表征系数适应性所确定，进而，保证筛选的精确性，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
具体而言，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，
，
公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。
具体而言，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，
所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，
若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。
具体而言，所述差异参量对比阈值E0基于标准动态对比阈值D0所确定，在本实施例中设定E0=D0×g2，g2表示第二精度系数，0.5＜g2＜0.6。
具体而言，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，
所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量Ne与所述剩余视频帧成正相关关系。
在本实施例中，提供一种确定算法，设定Ne=Ns×T0/Te，
Ns表示剩余视频帧的数量，T0表示计划延时，Te表示单个渲染节点渲染单个视频帧所需的平均时间，计划延时基于具体应用环境所设定，计划延时表征了完成剩余视频帧的渲染所需的目标时间，在要求低延时传输时计划延时可适应性降低。
本发明对第二动态类型的视频分段进行筛选，计算视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，基于差异参量判定是否筛选出视频帧，在实际情况中，第二动态类型的视频分段表征了一致性较差，但是其中仍然可能存在一些相似性较高的连续视频帧，因此，基于差异参量判定是否筛选出视频帧能够筛选出相似性较高的连续视频帧，进而，保证视觉效果的前提下减小渲染数据量，提高云端渲染的效率。
具体而言，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，
所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。
具体而言，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，
以及，用以记录所述控制模块所筛选出视频帧对应的排序序号，例如，所筛选出的视频帧在视频分段为第5个视频帧，则排序序号为5。
具体而言，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，
所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。
在本申请所提供的实施例中，应该理解到，所揭露的系统可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，模块以及单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种基于云平台的实时渲染系统，其特征在于，包括：
云端渲染模块，其包括若干用以提供渲染服务的云端渲染节点；
缓冲模块，其与所述云端渲染模块以及数据发送端连接，用以暂存数据发送端上传的视频数据；
控制模块，其与所述缓冲模块以及云端渲染模块连接，包括数据分析单元以及执行单元，
所述数据分析单元用以将所述缓冲模块中暂存的视频数据划分为若干视频分段，并基于各所述视频分段中视频帧的图像参数计算动态表征系数，基于所述动态表征系数划分所述视频分段的动态类型，所述动态类型包括第一动态类型以及第二动态类型；其中，所述数据分析单元基于各所述视频分段中视频帧的图像参数根据公式（1）计算所述动态表征系数，所述图像参数包括各视频帧中特征对象相对于前一视频帧的运动矢量；
，
公式（1）中，D表示动态表征系数，n表示所述视频分段中视频帧的数量，Li表示第i视频帧中特征对象相对于前一视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓；
所述执行单元用以基于各所述视频分段的动态类型以不同的筛选方式筛选所述视频分段中的视频帧，并调用云端渲染节点对剩余视频帧进行筛选，包括，
所述执行单元对第一动态类型的视频分段进行筛选，基于所述视频分段对应的动态表征系数调整筛选数量，每隔所述筛选数量从所述视频分段中筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染；
所述执行单元对第二动态类型的视频分段进行筛选，计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧的差异参量，并基于所述差异参量判定是否筛选出视频帧，并基于剩余视频帧的数量确定需调用云端渲染节点的数量，调用对应数量的云端渲染节点对剩余视频帧进行渲染。
2.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述数据分析单元基于所述动态表征系数划分所述视频分段的动态类型，其中，
所述数据分析单元将所述视频分段对应的动态表征系数与预设的标准动态对比阈值进行对比，
在预设条件下，所述数据分析单元判定所述视频分段为第一动态类型；
在非预设条件下，所述数据分析单元判定所述视频分段为第二动态类型；
所述预设条件为所述动态表征系数小于所述标准动态对比阈值。
3.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于所述视频分段对应的动态表征系数调整筛选数量，其中，
所述执行单元设置有若干筛选数量调整方式，各所述调整方式对所述筛选数量的调整量不同。
4.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元根据公式（2）计算所述视频分段中各视频帧相对于相邻的前视频帧以及后视频帧对应的差异参量，
，
公式（2）中，E表示差异参量，Le1表示视频帧中特征对象相对于相邻的前视频帧的运动矢量，Le2表示视频帧中特征对象相对于后视频帧的运动矢量，所述特征对象包括物体轮廓以及人体轮廓。
5.根据权利要求4所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于所述差异参量判定是否筛选出视频帧，其中，
所述执行单元将视频帧对应的差异参量与预设的差异参量对比阈值进行对比，
若所述差异参量小于预设的差异参量对比阈值，则所述执行单元判定筛选出所述视频帧。
6.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元基于剩余视频帧的数量确定需调用云端渲染节点的数量，其中，
所述数据分析单元内设置有确定算法，所述确定算法所确定需调用云端渲染节点的数量与所述剩余视频帧成正相关关系。
7.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述执行单元每隔所述筛选数量从所述视频分段中筛选出视频帧，其中，
所述执行单元筛选出所述视频分段的首个视频帧后开始计数，每隔所述筛选数量从所述视频分段中筛选出视频帧。
8.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，还包括存储模块，所述存储模块与所述缓冲模块以及控制模块连接，用以记录所述缓冲模块所接收的视频数据，
以及，用以记录所述控制模块所筛选出视频帧对应的排序序号。
9.根据权利要求1所述的基于云平台的实时渲染系统，其特征在于，所述数据分析单元将所述缓冲模块中暂存的视频数据划分为若干视频分段，其中，
所述数据分析单元所划分的各所述视频分段中所包含视频帧数量相同。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042478.6A CN116761018B (zh) | 2023-08-18 | 2023-08-18 | 一种基于云平台的实时渲染系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311042478.6A CN116761018B (zh) | 2023-08-18 | 2023-08-18 | 一种基于云平台的实时渲染系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116761018A CN116761018A (zh) | 2023-09-15 |
| CN116761018B true CN116761018B (zh) | 2023-10-17 |
Family
ID=87961263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311042478.6A Active CN116761018B (zh) | 2023-08-18 | 2023-08-18 | 一种基于云平台的实时渲染系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116761018B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993887B (zh) * | 2023-09-27 | 2023-12-22 | 湖南马栏山视频先进技术研究院有限公司 | 一种视频渲染异常的响应方法及系统 |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102542593A (zh) * | 2011-09-30 | 2012-07-04 | 中山大学 | 一种基于视频解译的交互式视频风格化渲染方法 |
| WO2012154156A1 (en) * | 2011-05-06 | 2012-11-15 | Google Inc. | Apparatus and method for rendering video using post-decoding buffer |
| WO2017107911A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京大学第三医院 | 一种视频云平台播放视频的方法及装置 |
| CN107801093A (zh) * | 2017-10-26 | 2018-03-13 | 深圳市量子视觉科技有限公司 | 视频渲染方法、装置、计算机设备和可读存储介质 |
| CN110393921A (zh) * | 2019-08-08 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 云游戏的处理方法、装置、终端、服务器及存储介质 |
| CN110766617A (zh) * | 2019-09-12 | 2020-02-07 | 江苏理工学院 | 一种带有动态模糊的降低采样数量的渲染加速方法 |
| CN111556325A (zh) * | 2019-02-12 | 2020-08-18 | 广州艾美网络科技有限公司 | 结合音视频的渲染方法、介质及计算机设备 |
| CN112052841A (zh) * | 2020-10-12 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 一种视频摘要的生成方法以及相关装置 |
| WO2021071486A1 (en) * | 2019-10-10 | 2021-04-15 | Google Llc | Selective multiple-instance encoding of video frames to provide target frame rate during network transmission |
| CN112700516A (zh) * | 2020-12-23 | 2021-04-23 | 杭州群核信息技术有限公司 | 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质 |
| CN113162895A (zh) * | 2020-12-22 | 2021-07-23 | 咪咕文化科技有限公司 | 动态编码方法、流媒体质量确定方法及电子设备 |
| CN113489958A (zh) * | 2021-08-11 | 2021-10-08 | 西安邮电大学 | 一种基于视频编码数据多特征融合的动态手势识别方法及系统 |
| CN113963100A (zh) * | 2021-10-25 | 2022-01-21 | 广东工业大学 | 一种数字孪生仿真场景的三维模型渲染方法及系统 |
| CN114049421A (zh) * | 2021-11-23 | 2022-02-15 | 中山大学 | 基于cpu的静态场景光线追踪棋盘渲染方法、系统及存储介质 |
| CN114299208A (zh) * | 2021-12-28 | 2022-04-08 | 网易（杭州）网络有限公司 | 游戏中闪电特效的呈现方法、装置、电子设备及存储介质 |
| CN114584821A (zh) * | 2022-03-02 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| WO2022139150A1 (ko) * | 2020-12-24 | 2022-06-30 | (주)비디오몬스터 | 클라우드 기반 동영상 분산 렌더링 시스템 및 이의 오토 스케일링 방법 |
| CN115174963A (zh) * | 2022-09-08 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 视频生成方法、视频帧生成方法、装置及电子设备 |
| CN115941914A (zh) * | 2023-01-06 | 2023-04-07 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于视频帧分析的视频渲染系统 |
| WO2023061232A1 (zh) * | 2021-10-13 | 2023-04-20 | 北京字节跳动网络技术有限公司 | 图像渲染方法、装置、设备及介质 |
| CN116260990A (zh) * | 2023-05-16 | 2023-06-13 | 合肥高斯智能科技有限公司 | 一种多路视频流的ai异步检测并实时渲染方法及系统 |
| CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
| WO2023134625A1 (zh) * | 2022-01-11 | 2023-07-20 | 华为技术有限公司 | 特效优化方法、装置、存储介质及程序产品 |
| CN116563085A (zh) * | 2023-07-06 | 2023-08-08 | 湖南马栏山视频先进技术研究院有限公司 | 一种离线渲染的大规模并行处理方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7649537B2 (en) * | 2005-05-27 | 2010-01-19 | Ati Technologies, Inc. | Dynamic load balancing in multiple video processing unit (VPU) systems |
| US9894393B2 (en) * | 2015-08-31 | 2018-02-13 | Gopro, Inc. | Video encoding for reduced streaming latency |
| US10242714B2 (en) * | 2016-12-19 | 2019-03-26 | Microsoft Technology Licensing, Llc | Interface for application-specified playback of panoramic video |
| US10997884B2 (en) * | 2018-10-30 | 2021-05-04 | Nvidia Corporation | Reducing video image defects by adjusting frame buffer processes |
-
2023
- 2023-08-18 CN CN202311042478.6A patent/CN116761018B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012154156A1 (en) * | 2011-05-06 | 2012-11-15 | Google Inc. | Apparatus and method for rendering video using post-decoding buffer |
| CN102542593A (zh) * | 2011-09-30 | 2012-07-04 | 中山大学 | 一种基于视频解译的交互式视频风格化渲染方法 |
| WO2017107911A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京大学第三医院 | 一种视频云平台播放视频的方法及装置 |
| CN107801093A (zh) * | 2017-10-26 | 2018-03-13 | 深圳市量子视觉科技有限公司 | 视频渲染方法、装置、计算机设备和可读存储介质 |
| CN111556325A (zh) * | 2019-02-12 | 2020-08-18 | 广州艾美网络科技有限公司 | 结合音视频的渲染方法、介质及计算机设备 |
| CN110393921A (zh) * | 2019-08-08 | 2019-11-01 | 腾讯科技（深圳）有限公司 | 云游戏的处理方法、装置、终端、服务器及存储介质 |
| CN110766617A (zh) * | 2019-09-12 | 2020-02-07 | 江苏理工学院 | 一种带有动态模糊的降低采样数量的渲染加速方法 |
| WO2021071486A1 (en) * | 2019-10-10 | 2021-04-15 | Google Llc | Selective multiple-instance encoding of video frames to provide target frame rate during network transmission |
| CN112052841A (zh) * | 2020-10-12 | 2020-12-08 | 腾讯科技（深圳）有限公司 | 一种视频摘要的生成方法以及相关装置 |
| CN113162895A (zh) * | 2020-12-22 | 2021-07-23 | 咪咕文化科技有限公司 | 动态编码方法、流媒体质量确定方法及电子设备 |
| CN112700516A (zh) * | 2020-12-23 | 2021-04-23 | 杭州群核信息技术有限公司 | 基于深度学习的视频渲染方法、装置、计算机设备以及存储介质 |
| WO2022139150A1 (ko) * | 2020-12-24 | 2022-06-30 | (주)비디오몬스터 | 클라우드 기반 동영상 분산 렌더링 시스템 및 이의 오토 스케일링 방법 |
| CN113489958A (zh) * | 2021-08-11 | 2021-10-08 | 西安邮电大学 | 一种基于视频编码数据多特征融合的动态手势识别方法及系统 |
| WO2023061232A1 (zh) * | 2021-10-13 | 2023-04-20 | 北京字节跳动网络技术有限公司 | 图像渲染方法、装置、设备及介质 |
| CN113963100A (zh) * | 2021-10-25 | 2022-01-21 | 广东工业大学 | 一种数字孪生仿真场景的三维模型渲染方法及系统 |
| CN114049421A (zh) * | 2021-11-23 | 2022-02-15 | 中山大学 | 基于cpu的静态场景光线追踪棋盘渲染方法、系统及存储介质 |
| CN114299208A (zh) * | 2021-12-28 | 2022-04-08 | 网易（杭州）网络有限公司 | 游戏中闪电特效的呈现方法、装置、电子设备及存储介质 |
| WO2023134625A1 (zh) * | 2022-01-11 | 2023-07-20 | 华为技术有限公司 | 特效优化方法、装置、存储介质及程序产品 |
| CN114584821A (zh) * | 2022-03-02 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN115174963A (zh) * | 2022-09-08 | 2022-10-11 | 阿里巴巴（中国）有限公司 | 视频生成方法、视频帧生成方法、装置及电子设备 |
| CN115941914A (zh) * | 2023-01-06 | 2023-04-07 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于视频帧分析的视频渲染系统 |
| CN116260990A (zh) * | 2023-05-16 | 2023-06-13 | 合肥高斯智能科技有限公司 | 一种多路视频流的ai异步检测并实时渲染方法及系统 |
| CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
| CN116563085A (zh) * | 2023-07-06 | 2023-08-08 | 湖南马栏山视频先进技术研究院有限公司 | 一种离线渲染的大规模并行处理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 赵煜桢.基于像素平面特征的真实感图形渲染算法的研究.中国优秀硕士学位论文全文数据库.2021,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116761018A (zh) | 2023-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038422B (zh) | 摄像装置、人脸识别的方法及计算机可读存储介质 | |
| CN116761018B (zh) | 一种基于云平台的实时渲染系统 | |
| CN108600675B (zh) | 通道路数扩展方法、设备、网络录像机及存储介质 | |
| CN112468796A (zh) | 注视点生成方法、系统及设备 | |
| CN116824016A (zh) | 渲染模型训练、视频的渲染方法、装置、设备和存储介质 | |
| CN112529994B (zh) | 三维模型图形渲染方法、电子设备及其可读存储介质 | |
| WO2021079592A1 (ja) | 情報処理装置、３ｄデータの生成方法及びプログラム | |
| CN116168045B (zh) | 扫变镜头的分割方法和系统、存储介质及电子设备 | |
| CN109684566A (zh) | 标签引擎实现方法、装置、计算机设备及存储介质 | |
| CN112965922A (zh) | 一种用于增强智能终端的ai性能的方法及系统 | |
| CN112261408A (zh) | 用于头戴显示设备的图像处理方法、装置及电子设备 | |
| US7995056B1 (en) | Culling data selection system and method | |
| CN113496138A (zh) | 稠密点云数据的生成方法、装置、计算机设备及存储介质 | |
| CN115209150B (zh) | 一种视频编码参数获取方法、装置及电子设备 | |
| CN113810755B (zh) | 全景视频预览的方法、装置、电子设备及存储介质 | |
| US8269769B1 (en) | Occlusion prediction compression system and method | |
| CN114339306B (zh) | 直播视频图像处理方法、装置及服务器 | |
| CN111405200B (zh) | 一种视频缩小装置、方法、系统及其电子设备 | |
| CN114900717A (zh) | 视频数据传输方法、装置、介质和计算设备 | |
| CN114820660A (zh) | 图像处理方法、装置、电子设备、存储介质及程序产品 | |
| US10764578B2 (en) | Bit rate optimization system and method | |
| CN111611843A (zh) | 人脸检测预处理方法、装置、设备和存储介质 | |
| CN117177004B (zh) | 内容帧的提取方法、装置、设备及存储介质 | |
| CN216527258U (zh) | 一种低功耗病理扫描ai相机 | |
| CN114554126B (zh) | 一种基板管理控制芯片、视频数据传输方法及服务器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |