CN116847126A - 一种视频解码数据传输方法及系统 - Google Patents
一种视频解码数据传输方法及系统 Download PDFInfo
- Publication number
- CN116847126A CN116847126A CN202310894452.8A CN202310894452A CN116847126A CN 116847126 A CN116847126 A CN 116847126A CN 202310894452 A CN202310894452 A CN 202310894452A CN 116847126 A CN116847126 A CN 116847126A
- Authority
- CN
- China
- Prior art keywords
- video
- rendering
- complexity characteristic
- segments
- video segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000005540 biological transmission Effects 0.000 title claims abstract description 27
- 238000009877 rendering Methods 0.000 claims abstract description 299
- 230000008859 change Effects 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 6
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 14
- 230000003247 decreasing effect Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明涉及移动终端技术领域,尤其涉及一种视频解码数据传输方法及系统,该方法包括:接收原始视频,所述原始视频至少包括一个视频段;获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;接收若干视频段,根据分类后的渲染视频段数量分配相应的渲染节点用以进行渲染操作,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点,用以得到渲染结果;传输渲染结果至显示端,并存储渲染结果用以周期性管理各视频段的渲染数据。本发明提高了视频解码数据渲染至显示设备的过程中的流畅度。
Description
技术领域
本发明涉及移动终端技术领域,尤其涉及一种视频解码数据传输方法及系统。
背景技术
移动终端技术领域是指可以在移动中使用的计算机设备,广义的讲包括手机、笔记本、平板电脑、POS机甚至包括车载电脑。而随着集成电路技术的发展移动终端正在从简单的通话工具变为一个综合信息处理平台,在此基础上对于视频的解码传输也有着更高的要求。
公开号为CN106658171A专利文献公开了一种视频解码数据传输方法及装置,该方法包括:通过通道管理函数创建一包含文件标识符的ION共享内存;根据所述文件标识符构建私有句柄结构对象并根据所述私有句柄结构对象以及所述ION共享内存创建本地窗口缓存器;在接收到视频解码数据时,将所述视频解码数据填充至所述本地窗口缓存器中;将被所述视频解码数据填充的所述本地窗口缓存器对应的所述私有句柄结构对象传递至一视频库中;所述视频库根据接收到的所述本地窗口缓存器对应的所述私有句柄结构对象访问所述本地窗口缓存器中的所述视频解码数据。
但是,现有技术将本地窗口缓存器中的视频解码数据渲染至显示设备的过程中存在着局限,由于实际应用时视频中的图像复杂度的多样化使得渲染时会占用大量的运行内存导致运载失衡,出现渲染至显示设备时存在卡顿的状态。
发明内容
为此,本发明提供一种视频解码数据传输方法及系统,可以解决视频解码数据渲染至显示设备的过程中卡顿的技术问题。
为实现上述目的,本发明提供一种视频解码数据传输方法,该方法包括:
接收原始视频,所述原始视频至少包括一个视频段;
获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频段中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
进一步地,获取各视频段的复杂度特征参量包括:根据公式(1)计算视频段复杂度特征参量,
公式(1)中,C表示复杂度特征参量,N表示视频段中平均完整轮廓数量,N0表示预设完整轮廓数量标准参数,S表示平均纹理细节数量参数,S0表示纹理细节数量标准参数,F表示为平均色度参数,F0表示为预设标准色度参数,L表示为平均亮度参数,L0表示为预设标准亮度参数,α为第一权重系数,β为第二权重系数,γ为第三权重系数,δ为第四权重系数,α+β+γ+δ=1。
进一步地,获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量时,
设置预设时长H0;
若实际时长Hi小于等于预设时长H0,则不对视频进行分段;
若实际时长Hi大于预设时长H0,则根据向上舍入函数确定分段数量N,所述分段数量N=ROUNDUP(Hi/H0,0),其中,向上舍入函数为ROUNDUP()。
进一步地,将视频段实际复杂度特征参量Ci与预设复杂度特征参量C0做比对,设定C0(Cmin,Cmax),其中,Cmin为预设复杂度特征参量最小值,Cmax为预设复杂度特征参量最大值,
若视频段复杂度特征参量Ci不符合标准,则计算实际复杂度特征参量的差值与预设复杂度特征参量差值做比对,根据比对结果确定用以对视频段进行渲染分类;
若视频段复杂度特征参量Ci符合标准,则形成第二类渲染视频段。
进一步地,计算各视频段的实际复杂度特征参量的差值与预设复杂度特征参量的差值做比对时,根据预设复杂度特征参量计算预设复杂度特征参量差值△C0=1/3×[Cmax-Cmin];
当C>Cmax时,根据复杂度特征参量C计算复杂度特征参量的差值△C,设定△C=C-Cmax;
当△C<△C0时,则判断所述视频段为第二类渲染视频;
当△C≥△C0时,则判断所述视频段为第一类渲染视频;
当C<Cmin时,根据复杂度特征参量C计算复杂度特征参量的差值△C’,设定△C’=Cmin-C;
当△C’<△C0时,判断所述视频段为第二类渲染视频;
当△C’≥△C0时,判断所述视频段为第三类渲染视频。
进一步地,根据对比结果确定各所述视频段的渲染分类,根据分类后的渲染视频段数量分配相应的渲染节点用以同时进行渲染操作时,
若为第二类渲染视频或第三类渲染视频,则不判断渲染视频段之间实际复杂度特征参量的变化趋势;
若为第一类渲染视频,则判断渲染视频段之间实际复杂度特征参量的变化趋势。
进一步地,断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势时,
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为上升趋势,且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第三类渲染视频的渲染节点;
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为下降趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第二类渲染视频的渲染节点。
进一步地,根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频时,所述渲染数据包括总渲染时长、卡顿时长以及渲染视频各帧的完整度,其中,
当所述原始视频符合第一存储条件时,使用第一存储方式进行对所述原始视频进行存储;
当所述原始视频符合第二存储条件时,使用第二存储方式进行对所述原始视频进行存储;
当所述原始视频符合第三存储条件时,使用第三存储方式进行对所述原始视频进行存储。
其中,所述第一存储条件为所述原始视频中各视频段均为相同类的渲染视频,所述第二存储条件为所述原始视频中第一类渲染视频的数量大于等于1/2原始视频中视频段的数量,所述第二存储条件为所述原始视频中第一类渲染视频的数量小于1/2原始视频中视频段的数量。
进一步地,调用所述渲染节点时预先设置调用比例阈值并在调用渲染节点时所调用渲染节点的数量不超过所述调用比例阈值。
另一方面,本发明提供一种视频解码数据传输方法的传输系统,该系统包括:
接收模块,接收原始视频,所述原始视频至少包括一个视频段;
获取模块,与接收模块连接,用以获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
云端渲染模块,与获取模块连接,用以接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
传输模块,与接收模块和云端渲染模块连接,用以传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
所述云端渲染模块包括分类单元和判断单元,
所述分类单元,用以根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频段中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
所述判断单元,用以根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
与现有技术相比,本发明的有益效果在于,通过接收若干视频解码数据,并将各所述视频解码数据解码得到原始视频,实现了原始视频的获取。根据获取各所述原始视频的时长,将原始视频实际时长与预设时长进行比对以选择对视频的分段数量,得到了若干视频段,根据各所述视频段中视频段的复杂度特征参量判定视频段的渲染分类,用以进行渲染节点调用的判断。在对视频段进行渲染时,并判断各所述渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,实现了调用各渲染视频段的渲染节点,达到了提前的做出计算,并调配渲染节点,避免了由于实际应用时视频中的图像复杂度的多样化使得渲染时会占用大量的运行内存导致运载失衡,出现渲染至显示设备时存在卡顿的状态,提高了传输视频的流畅度。
尤其,通过获取各所述原始视频的时长,将实际时长与预设时长进行比对以选择对视频的分段数量,实现了对于原始视频的切分,达到了控制渲染视频时长的目的,并为后续渲染节点的分配提供支撑。
尤其,通过获取各所述视频段的复杂度特征参量,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,实现了对渲染视频的分类。在实际情况中,当视频段中包含大量的轮廓和纹理以及亮度和色彩时会占据更多的像素,并且它们的形状和运动也会对渲染速率产生影响,例如,一个包含大量的轮廓和纹理以及亮度和色彩则需要更多的计算和处理,因此需要更长的渲染时间,因此,通过复杂度特征参量的计算实现了获取视频段的复杂状况的目的,从而为后续调用渲染节点提供数据支撑,进而减少由于视频段复杂度的变化带来导致渲染过程中出现卡顿的状况,提高了渲染节点的利用率。
尤其,通过判断第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为上升趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第三类渲染视频的渲染节点,由于相邻视频帧之间复杂度特征参量的变化为上升趋势则表明相邻的渲染的复杂度会上升,因此调用视频段中渲染复杂度特征参量最低的渲染节点,用以实现渲染算力的分配,若调用时仍然出现卡顿的状态,则继续调复杂度特征参量中等渲染节点,以实现渲染节点的分配,实现了提前预估视频段所消耗的渲染算力,根据不同视频段的具体情况适应性的调整渲染节点,避免了由于视频段复杂度的变化带来导致渲染过程中出现卡顿的状况,提高了渲染效率。
尤其,通过判断第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为下降趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第二类渲染视频的渲染节点,由于相邻视频帧之间复杂度特征参量的变化为下降趋势则表明相邻的渲染的复杂度会下降,因此调用视频段中渲染复杂度特征参量中等的渲染节点,用以实现渲染算力的分配,避免了调用视频段中渲染复杂度特征参量最低的渲染节点造成算力浪费的现象。
尤其,通过根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频,实现了对数据的个性化存储,以便于管理和分析渲染数据。
附图说明
图1为本发明实施例提供的视频解码数据传输方法的流程示意图;
图2为本发明实施例提供的视频解码数据传输系统的结构示意图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1所示,发明实施例提供的视频解码数据传输方法的流程示意图,该方法包括:
步骤S100:接收原始视频,所述原始视频至少包括一个视频段;
步骤S200:获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
步骤S300:接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
步骤S400:传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
步骤S300中根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频帧中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
步骤S300中根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
具体而言,本发明实施例中,通过接收若干视频解码数据,并将各所述视频解码数据解码得到原始视频,实现了原始视频的获取。根据获取各所述原始视频的时长,将原始视频实际时长与预设时长进行比对以选择对视频的分段数量,得到了若干视频段,根据各所述视频段中视频段的复杂度特征参量判定视频段的渲染分类,用以进行渲染节点调用的判断。在对视频段进行渲染时,并判断各所述渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,实现了调用各渲染视频段的渲染节点,达到了提前的做出计算,并调配渲染节点,避免了由于实际应用时视频中的图像复杂度的多样化使得渲染时会占用大量的运行内存导致运载失衡,出现渲染至显示设备时存在卡顿的状态,提高了传输视频的流畅度。
具体而言,本发明对渲染节点的具体结构限定为云端渲染,通常采用虚拟化技术和分布式计算技术,可以将渲染任务分配给多个云端服务器进行计算和处理,以及各渲染节点同时对单个视频段进行渲染。此为现有技术,不再赘述。
具体而言,本发明对识别轮廓数量参数和纹理细节数量参数的算法不做限定,对于图像中完整轮廓以及线条的识别在图像处理领域已经较为成熟,此为现有技术,不再赘述。
具体而言,获取各视频段的复杂度特征参量包括:根据公式(1)计算视频段复杂度特征参量,
公式(1)中,C表示复杂度特征参量,N表示视频段中平均完整轮廓数量,N0表示预设完整轮廓数量标准参数,S表示平均纹理细节数量参数,S0表示纹理细节数量标准参数,F表示为平均色度参数,F0表示为预设标准色度参数,L表示为平均亮度参数,L0表示为预设标准亮度参数,α为第一权重系数,β为第二权重系数,γ为第三权重系数,δ为第四权重系数,α+β+γ+δ=1。
具体而言,在本实施例中N0、S0、F0和L0基于若干样本数据计算所得,获取若干视频并计算所述视频中各视频帧中完整轮廓的数量、纹理细节数量、色度参数和亮度参数求解各视频段中各参数的平均值,将所述平均值设定为各参数的标准参数。
具体而言,α取值为0.5、β取值为0.3、γ取值为0.1、δ取值为0.1。
具体而言,为保证对当前所渲染的视频段的渲染效果,本领域技术人员选取调用比例阈值时在区间[0,30%]内设定。
具体而言,获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量时,
设置预设时长H0;
若实际时长Hi小于等于预设时长H0,则不对视频进行分段;
若实际时长Hi大于预设时长H0,则根据向上舍入函数确定分段数量N,所述分段数量N=ROUNDUP(Hi/H0,0),其中,向上舍入函数为ROUNDUP()。
具体而言,本领域技术人员设置预设时长的时候在区间[15,20]内设定,量纲为分钟。
具体而言,本发明实施例中,通过获取各所述原始视频的时长,将实际时长与预设时长进行比对以选择对视频的分段数量,实现了对于原始视频的切分,达到了控制渲染视频时长的目的,并为后续渲染节点的分配提供支撑。
具体而言,将视频段实际复杂度特征参量Ci与预设复杂度特征参量C0做比对,设定C0(Cmin,Cmax),其中,Cmin为预设复杂度特征参量最小值,Cmax为预设复杂度特征参量最大值,
若视频段复杂度特征参量Ci不符合标准,则计算实际复杂度特征参量的差值与预设复杂度特征参量差值做比对,根据比对结果确定用以对视频段进行渲染分类;
若视频段复杂度特征参量Ci符合标准,则形成第二类渲染视频段。
具体而言,本发明实施例中,通过获取各所述视频段的复杂度特征参量,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,实现了对渲染视频的分类。在实际情况中,当视频段中包含大量的轮廓和纹理以及亮度和色彩时会占据更多的像素,并且它们的形状和运动也会对渲染速率产生影响,例如,一个包含大量的轮廓和纹理以及亮度和色彩则需要更多的计算和处理,因此需要更长的渲染时间,因此,通过复杂度特征参量的计算实现了获取视频段的复杂状况的目的,从而为后续调用渲染节点提供数据支撑,进而减少由于视频段复杂度的变化带来导致渲染过程中出现卡顿的状况,提高了渲染节点的利用率。
具体而言,计算各视频段的实际复杂度特征参量的差值与预设复杂度特征参量的差值做比对时,根据预设复杂度特征参量计算预设复杂度特征参量差值△C0=1/3×[Cmax-Cmin];
当C>Cmax时,根据复杂度特征参量C计算复杂度特征参量的差值△C,设定△C=C-Cmax;
当△C<△C0时,则判断所述视频段为第二类渲染视频;
当△C≥△C0时,则判断所述视频段为第一类渲染视频;
当C<Cmin时,根据复杂度特征参量C计算复杂度特征参量的差值△C’,△C’=Cmin-C;
当△C’<△C0时,判断所述视频段为第二类渲染视频;
当△C’≥△C0时,判断所述视频段为第三类渲染视频。
具体而言,根据对比结果确定各所述视频段的渲染分类,根据分类后的渲染视频段数量分配相应的渲染节点用以同时进行渲染操作时,
若为第二类渲染视频或第三类渲染视频,则不判断渲染视频段之间实际复杂度特征参量的变化趋势;
若为第一类渲染视频,则判断渲染视频段之间实际复杂度特征参量的变化趋势。
具体而言,断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势时,
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为上升趋势,且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第三类渲染视频的渲染节点;
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为下降趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第二类渲染视频的渲染节点。
具体而言,设定所需调用不同类别渲染视频的渲染节点的数量L=A×B×0.2,其中,A表示各视频段中剩余的视频帧数量,B表示各视频段中已渲染完成的视频帧数量。
具体而言,本发明实施例中,通过判断第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为上升趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第三类渲染视频的渲染节点,由于相邻视频帧之间复杂度特征参量的变化为上升趋势则表明相邻的渲染的复杂度会上升,因此调用视频段中渲染复杂度特征参量最低的渲染节点,用以实现渲染算力的分配,若调用时仍然出现卡顿的状态,则继续调复杂度特征参量中等渲染节点,以实现渲染节点的分配,实现了提前预估视频段所消耗的渲染算力,根据不同视频段的具体情况适应性的调整渲染节点,避免了由于视频段复杂度的变化带来导致渲染过程中出现卡顿的状况,提高了渲染效率。
具体而言,本发明实施例中,通过判断第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为下降趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第二类渲染视频的渲染节点,由于相邻视频帧之间复杂度特征参量的变化为下降趋势则表明相邻的渲染的复杂度会下降,因此调用视频段中渲染复杂度特征参量中等的渲染节点,用以实现渲染算力的分配,避免了调用视频段中渲染复杂度特征参量最低的渲染节点造成算力浪费的现象。
具体而言,根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频时,所述渲染数据包括总渲染时长、卡顿时长以及渲染视频各帧的完整度,其中,
当所述原始视频符合第一存储条件时,使用第一存储方式进行对所述原始视频进行存储;
当所述原始视频符合第二存储条件时,使用第二存储方式进行对所述原始视频进行存储;
当所述原始视频符合第三存储条件时,使用第三存储方式进行对所述原始视频进行存储。
其中,所述第一存储条件为所述原始视频中各视频段均为相同类的渲染视频,所述第二存储条件为所述原始视频中第一类渲染视频的数量大于等于1/2原始视频中视频段的数量,所述第二存储条件为所述原始视频中第一类渲染视频的数量小于1/2原始视频中视频段的数量。
具体而言,本发明实施例中,通过根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频,实现了对数据的个性化存储,以便于管理和分析渲染数据。
具体而言,调用所述渲染节点时预先设置调用比例阈值并在调用渲染节点时所调用渲染节点的数量不超过所述调用比例阈值。
请参阅图2所示,发明实施例提供的视频解码数据传输系统的结构示意图,该系统包括:
接收模块10,接收原始视频,所述原始视频至少包括一个视频段;
获取模块20,与接收模块10连接,用以获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
云端渲染模块30,与获取模20块连接,用以接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
传输模块40,与接收模块10和云端渲染模块30连接,用以传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
所述云端渲染模块30包括分类单元31和判断单元32,
所述分类单元31,用以根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频段中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
所述判断单元32,与所述分类单元31连接,用以根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频解码数据传输方法,其特征在于,包括:
接收原始视频,所述原始视频至少包括一个视频段;
获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频段中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
2.根据权利要求1所述的视频解码数据传输方法,其特征在于,获取各视频段的复杂度特征参量包括:根据公式(1)计算视频段复杂度特征参量,
公式(1)中,C表示复杂度特征参量,N表示视频段中平均完整轮廓数量,N0表示预设完整轮廓数量标准参数,S表示平均纹理细节数量参数,S0表示纹理细节数量标准参数,F表示为平均色度参数,F0表示为预设标准色度参数,L表示为平均亮度参数,L0表示为预设标准亮度参数,α为第一权重系数,β为第二权重系数,γ为第三权重系数,δ为第四权重系数,α+β+γ+δ=1。
3.根据权利要求2所述的视频解码数据传输方法,其特征在于,获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量时,
设置预设时长H0;
若实际时长Hi小于等于预设时长H0,则不对视频进行分段;
若实际时长Hi大于预设时长H0,则根据向上舍入函数确定分段数量N,所述分段数量N=ROUNDUP(Hi/H0,0),其中,向上舍入函数为ROUNDUP()。
4.根据权利要求3所述的视频解码数据传输方法,其特征在于,将视频段实际复杂度特征参量Ci与预设复杂度特征参量C0做比对,设定C0(Cmin,Cmax),其中,Cmin为预设复杂度特征参量最小值,Cmax为预设复杂度特征参量最大值,
若视频段复杂度特征参量Ci不符合标准,则计算实际复杂度特征参量的差值与预设复杂度特征参量差值做比对,根据比对结果确定用以对视频段进行渲染分类;
若视频段复杂度特征参量Ci符合标准,则形成第二类渲染视频段。
5.根据权利要求4所述的视频解码数据传输方法,其特征在于,计算各视频段的实际复杂度特征参量的差值与预设复杂度特征参量的差值做比对时,根据预设复杂度特征参量计算预设复杂度特征参量差值△C0=1/3×[Cmax-Cmin];
当C>Cmax时,根据复杂度特征参量C计算复杂度特征参量的差值△C,设定△C=C-Cmax;
当△C<△C0时,则判断所述视频段为第二类渲染视频;
当△C≥△C0时,则判断所述视频段为第一类渲染视频;
当C<Cmin时,根据复杂度特征参量C计算复杂度特征参量的差值△C’,设定△C’=Cmin-C;
当△C’<△C0时,判断所述视频段为第二类渲染视频;
当△C’≥△C0时,判断所述视频段为第三类渲染视频。
6.根据权利要求5所述的视频解码数据传输方法,其特征在于,根据对比结果确定各所述视频段的渲染分类,根据分类后的渲染视频段数量分配相应的渲染节点用以同时进行渲染操作时,
若为第二类渲染视频或第三类渲染视频,则不判断渲染视频段之间实际复杂度特征参量的变化趋势;
若为第一类渲染视频,则判断渲染视频段之间实际复杂度特征参量的变化趋势。
7.根据权利要求6所述的视频解码数据传输方法,其特征在于,断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势时,
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为上升趋势,且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第三类渲染视频的渲染节点;
若为第一类渲染视频段相邻视频帧之间实际复杂度特征参量的变化为下降趋势且渲染视频过程中帧耗时超出预设标准耗时,则优先调用第二类渲染视频的渲染节点。
8.根据权利要求7所述的视频解码数据传输方法,其特征在于,
根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频时,所述渲染数据包括总渲染时长、卡顿时长以及渲染视频各帧的完整度,其中,
当所述原始视频符合第一存储条件时,使用第一存储方式进行对所述原始视频进行存储;
当所述原始视频符合第二存储条件时,使用第二存储方式进行对所述原始视频进行存储;
当所述原始视频符合第三存储条件时,使用第三存储方式进行对所述原始视频进行存储。
其中,所述第一存储条件为所述原始视频中各视频段均为相同类的渲染视频,所述第二存储条件为所述原始视频中第一类渲染视频的数量大于等于1/2原始视频中视频段的数量,所述第二存储条件为所述原始视频中第一类渲染视频的数量小于1/2原始视频中视频段的数量。
9.根据权利要求8所述的视频解码数据传输方法,其特征在于,调用所述渲染节点时预先设置调用比例阈值并在调用渲染节点时所调用渲染节点的数量不超过所述调用比例阈值。
10.一种应用于权利要求1-9任一项的视频解码数据传输方法的传输系统,其特征在于,包括:
接收模块,接收原始视频,所述原始视频至少包括一个视频段;
获取模块,与接收模块连接,用以获取所述原始视频的实际时长,将实际时长与预设时长进行比对以选择对所述原始视频的分段数量,用以得到若干视频段;
云端渲染模块,与获取模块连接,用以接收若干所述视频段,并根据视频段的复杂度特征参量确定各所述视频段的渲染分类,根据渲染分类的视频段数量确定渲染节点,利用渲染节点对各所述视频段同时进行渲染处理用以得到渲染结果;
传输模块,与接收模块和云端渲染模块连接,用以传输所述渲染结果至显示端和接收端,并根据所述渲染结果获得渲染数据,以及根据渲染数据确定对所述原始视频的存储方式用以管理所述原始视频;
所述云端渲染模块包括分类单元和判断单元,
所述分类单元,用以根据视频段的复杂度特征参量确定各所述视频段的渲染分类包括:获取各所述视频段的复杂度特征参量,所述复杂度特征参量包括视频段中完整轮廓数量参数、纹理细节数量参数、平均亮度参数、平均色度参数,所述纹理细节数量参量基于各完整轮廓中包含的线条轮廓数量所确定,并将各所述视频段的实际复杂度特征参量与标准复杂度特征参量进行比对,根据对比结果确定各所述视频段的渲染分类;
所述判断单元,用以根据渲染分类的视频段数量确定渲染节点包括:根据分类后的渲染视频段数量分配相应的渲染节点,并判断各所述分类后的渲染视频段中相邻视频帧之间实际复杂度特征参量的变化趋势,根据所述变化趋势调用渲染视频段的渲染节点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310894452.8A CN116847126A (zh) | 2023-07-20 | 2023-07-20 | 一种视频解码数据传输方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310894452.8A CN116847126A (zh) | 2023-07-20 | 2023-07-20 | 一种视频解码数据传输方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116847126A true CN116847126A (zh) | 2023-10-03 |
Family
ID=88174257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310894452.8A Pending CN116847126A (zh) | 2023-07-20 | 2023-07-20 | 一种视频解码数据传输方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116847126A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117651148A (zh) * | 2023-11-01 | 2024-03-05 | 广东联通通信建设有限公司 | 一种物联网终端管控方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050212799A1 (en) * | 2004-03-24 | 2005-09-29 | Canon Kabushiki Kaisha | Rendering images containing video |
US20110221865A1 (en) * | 2008-12-01 | 2011-09-15 | Nortel Networks Limited | Method and Apparatus for Providing a Video Representation of a Three Dimensional Computer-Generated Virtual Environment |
CN113449700A (zh) * | 2021-08-30 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 视频分类模型的训练、视频分类方法、装置、设备及介质 |
CN115914402A (zh) * | 2022-11-09 | 2023-04-04 | 中国联合网络通信集团有限公司 | 算力资源节点的确定方法、装置、设备以及存储介质 |
CN115941914A (zh) * | 2023-01-06 | 2023-04-07 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于视频帧分析的视频渲染系统 |
CN116074512A (zh) * | 2023-01-12 | 2023-05-05 | 北京达佳互联信息技术有限公司 | 视频编码方法、装置、电子设备以及存储介质 |
CN116260928A (zh) * | 2023-05-15 | 2023-06-13 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于智能插帧的视觉优化方法 |
CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
CN116440501A (zh) * | 2023-06-16 | 2023-07-18 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
-
2023
- 2023-07-20 CN CN202310894452.8A patent/CN116847126A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050212799A1 (en) * | 2004-03-24 | 2005-09-29 | Canon Kabushiki Kaisha | Rendering images containing video |
US20110221865A1 (en) * | 2008-12-01 | 2011-09-15 | Nortel Networks Limited | Method and Apparatus for Providing a Video Representation of a Three Dimensional Computer-Generated Virtual Environment |
CN113449700A (zh) * | 2021-08-30 | 2021-09-28 | 腾讯科技(深圳)有限公司 | 视频分类模型的训练、视频分类方法、装置、设备及介质 |
CN115914402A (zh) * | 2022-11-09 | 2023-04-04 | 中国联合网络通信集团有限公司 | 算力资源节点的确定方法、装置、设备以及存储介质 |
CN115941914A (zh) * | 2023-01-06 | 2023-04-07 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于视频帧分析的视频渲染系统 |
CN116074512A (zh) * | 2023-01-12 | 2023-05-05 | 北京达佳互联信息技术有限公司 | 视频编码方法、装置、电子设备以及存储介质 |
CN116260928A (zh) * | 2023-05-15 | 2023-06-13 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于智能插帧的视觉优化方法 |
CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
CN116440501A (zh) * | 2023-06-16 | 2023-07-18 | 瀚博半导体(上海)有限公司 | 自适应云游戏视频画面渲染方法和系统 |
Non-Patent Citations (1)
Title |
---|
刘祥凯;张云;张欢;李娜;樊春玲;谢祖庆;朱林卫;: "视频大数据研究综述", 集成技术, no. 02, 15 March 2016 (2016-03-15) * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117651148A (zh) * | 2023-11-01 | 2024-03-05 | 广东联通通信建设有限公司 | 一种物联网终端管控方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112905326B (zh) | 任务处理方法及装置 | |
CN104268018B (zh) | 一种Hadoop集群中的作业调度方法和作业调度器 | |
CN116847126A (zh) | 一种视频解码数据传输方法及系统 | |
CN116389831B (zh) | 一种基于云原生的离线渲染系统及方法 | |
CN111506434B (zh) | 一种任务处理方法、装置及计算机可读存储介质 | |
CN115220921B (zh) | 资源调度方法及相关装置、图形处理器、摄像器件和介质 | |
CN104320854A (zh) | 资源调度方法及装置 | |
CN110167031B (zh) | 一种面向集中式基站的资源分配方法、设备及存储介质 | |
CN110602505A (zh) | 一种基于多gpu的视频转码方法及装置 | |
CN117472301A (zh) | 一种热敏打印机缓冲打印方法以及相关装置 | |
US20210406584A1 (en) | Method and device for determining region to be cleaned, dust cleaning apparatus, terminal for controlling cleaning robot, and storage medium | |
CN109144664B (zh) | 一种基于用户服务质量需求差异的虚拟机动态迁移方法 | |
CN112437015A (zh) | 分流调度方法、装置、系统和计算机可读存储介质 | |
CN112642154B (zh) | 云游戏控制方法、装置、网络设备及存储介质 | |
CN114116231A (zh) | 一种数据加载方法、装置、计算机设备及存储介质 | |
CN113762016A (zh) | 关键帧选取方法和装置 | |
CN106598588A (zh) | 一种加载页面元素的方法及装置 | |
CN110955644A (zh) | 一种存储系统的io控制方法、装置、设备及存储介质 | |
CN115391042B (zh) | 一种资源分配方法、装置、电子设备及存储介质 | |
CN112905351B (zh) | 一种gpu和cpu负载调度方法、装置、设备和介质 | |
CN117170886B (zh) | 一种面向大连接视频分析的连续学习资源调度方法及装置 | |
CN112214310B (zh) | 一种数据集缓存排队的方法和装置 | |
CN112383949B (zh) | 一种边缘计算与通信资源分配方法及系统 | |
CN107770024A (zh) | 总线周期扫描表的生成方法和装置 | |
CN106713927A (zh) | 一种图像输出装置、方法及解码器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |