CN110536137B - 一种3d视频中的左视角视频流量预测方法及装置 - Google Patents

一种3d视频中的左视角视频流量预测方法及装置 Download PDF

Info

Publication number
CN110536137B
CN110536137B CN201910812950.7A CN201910812950A CN110536137B CN 110536137 B CN110536137 B CN 110536137B CN 201910812950 A CN201910812950 A CN 201910812950A CN 110536137 B CN110536137 B CN 110536137B
Authority
CN
China
Prior art keywords
sequence
historical
visual angle
value sequence
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910812950.7A
Other languages
English (en)
Other versions
CN110536137A (zh
Inventor
康桂霞
杨欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Bupt Sensing Technology & Industry Academy Co ltd
Original Assignee
Wuxi Bupt Sensing Technology & Industry Academy Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Bupt Sensing Technology & Industry Academy Co ltd filed Critical Wuxi Bupt Sensing Technology & Industry Academy Co ltd
Priority to CN201910812950.7A priority Critical patent/CN110536137B/zh
Publication of CN110536137A publication Critical patent/CN110536137A/zh
Application granted granted Critical
Publication of CN110536137B publication Critical patent/CN110536137B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Abstract

本发明实施例提供了一种3D视频中的左视角视频流量预测方法及装置,其中方法包括:获取3D视频的历史右视角流量值序列和历史左视角流量值序列,将历史右视角流量值序列输入自适应LSTAR模型,得到右视角流量预测值序列,并进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,建立短时线性回归模型,将右视角流量预测值序列输入短时线性回归模型,计算左视角近似系数预测值序列,将历史左视角细节系数序列输入ARMA模型,计算左视角细节系数预测值序列,对左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列。本发明实施例能够提高对左视角视频流量预测准确率。

Description

一种3D视频中的左视角视频流量预测方法及装置
技术领域
本发明涉及多媒体传输技术领域,特别是涉及一种3D视频中的左视角视频流量预测方法及装置。
背景技术
3D(3Dimensions,三维)视频是一种具有提供感知三维场景深度功能的视频媒体形式,能够增强视觉逼真感,给观看者带来立体视觉感受,目前被广泛地应用于各个领域。对3D视频流量进行预测,能够帮助人们了解3D视频的普遍特性。
3D视频虽然有两个视角,但拍摄内容相似,两个视角的视频画面中存在一些相似的信息,因此左右视角的视频画面具有相似信息的特征。另外,3D 视频流量大,在被传输之前会进行视频的压缩编码,编码时通常将左视角定为参考视角,右视角定为非参考视角,右视角利用左右视角具有相似信息的特征,进行视角间的压缩,因此左视角的流量更大,变化范围也更大。现有的LSTAR (Logic Smooth Transition Autoregressive,自适应逻辑平滑转换自回归)模型在预测3D视频流量时,将3D视频流量分为左视角视频流量和右视角视频流量,并将左视角视频流量当成2D视频流量进行预测,将右视角视频流量也当成2D 视频流量进行预测。具体地,首先建立LSTAR模型,将历史左视角流量值序列输入LSTAR模型,计算当前视频帧的左视角流量预测值,然后将得到的上述当前帧的左视角流量预测值归入历史左视角流量值序列,继续预测下一视频帧的左视角流量值,直到计算完成预设个数的左视角视频帧流量预测值,对右视角流量进行预测的过程同对左视角流量进行预测的过程一样。上述历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列,历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列。
现有的LSTAR模型在预测左视角流量时,通常只用左视角自身历史流量值做回归变量,然而,由于左视角流量变化范围大,导致当前时刻的流量值与历史时刻的流量值有可能差异较大,进一步导致LSTAR模型对左视角视频流量预测准确率低。
发明内容
本发明实施例的目的在于提供一种3D视频中的左视角视频流量预测方法及装置,以解决现有LSTAR模型对左视角视频流量预测准确率低的问题。具体技术方案如下:
第一方面,本发明实施例的目的在于提供一种3D视频中的左视角视频流量预测方法,所述方法包括:
获取3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,所述历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,所述历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列;
将所述历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列,其中,所述右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列;
对所述历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,其中,所述历史左视角近似系数序列中的数值变化趋势与所述历史左视角流量值序列中的数值变化趋势一致,且所述历史左视角近似系数序列中的数值变化范围小于所述历史左视角流量值序列中的数值变化范围;所述历史左视角细节系数序列用于表示所述历史左视角流量值序列在时域上的变化频率;
对所述历史左视角近似系数序列进行扩展,使所述历史左视角近似系数序列长度与所述历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,所述序列长度为视频帧的数目;
基于所述历史右视角流量值序列和所述历史左视角近似系数扩展序列,建立短时线性回归模型;
基于所述短时线性回归模型,计算左视角近似系数预测值序列,所述左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列;
将所述历史左视角细节系数序列输入预先建立的自回归滑动平均ARMA 模型,得到左视角细节系数预测值序列,其中,所述左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列;
对所述左视角近似系数预测值序列和所述左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,所述左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列。
可选的,所述对所述历史左视角近似系数序列进行扩展的步骤,包括:
利用第一预设表达式,对所述历史左视角近似系数序列进行扩展,所述第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
可选的,所述基于所述历史右视角流量值序列与所述历史左视角近似系数扩展序列,建立短时线性回归模型的步骤,包括:
建立初始模型,所述初始模型的表达式为:
Figure GDA0003208123370000031
式中,
Figure GDA0003208123370000032
表示所述历史左视角近似系数扩展序列第i帧的流量值,xi表示所述历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,所述初始模型截距和所述初始模型斜率均为所述短时线性回归模型的参数;
将所述历史左视角近似系数扩展序列和所述历史右视角流量值序列输入所述初始模型,计算所述短时线性回归模型的参数;
利用计算得到的所述短时线性回归模型的参数建立短时线性回归模型,所述短时线性回归模型的表达式为:
Figure GDA0003208123370000033
式中,
Figure GDA0003208123370000034
表示所述左视角近似系数预测值序列第i帧的流量值,zi表示所述右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
可选的,所述基于所述短时线性回归模型,计算左视角近似系数预测值序列的步骤,包括:
将所述右视角流量预测值序列输入所述短时线性回归模型,得到左视角近似系数扩展预测值序列;
对所述左视角近似系数扩展预测值序列进行下采样,得到所述左视角近似系数预测值序列。
可选的,所述方法还包括:
基于计算得到的所述右视角流量预测值序列和所述左视角流量预测值序列,确定3D视频流量总预测值序列,所述3D视频流量总预测值序列为所述右视角流量预测值序列和所述左视角流量预测值序列组成的序列。
第二方面,本发明实施例提供了一种3D视频中的左视角视频流量预测装置,所述装置包括:
获取模块,用于获取3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,所述历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,所述历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列;
第一处理模块,用于将所述历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列,其中,所述右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列;
小波变换模块,用于对所述历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,其中,所述历史左视角近似系数序列中的数值变化趋势与所述历史左视角流量值序列中的数值变化趋势一致,且所述历史左视角近似系数序列中的数值变化范围小于所述历史左视角流量值序列中的数值变化范围;所述历史左视角细节系数序列用于表示所述历史左视角流量值序列在时域上的变化频率;
扩展模块,用于对所述历史左视角近似系数序列进行扩展,使所述历史左视角近似系数序列长度与所述历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,所述序列长度为视频帧的数目;
建立模块,用于基于所述历史右视角流量值序列和所述历史左视角近似系数扩展序列,建立短时线性回归模型;
计算模块,用于基于所述短时线性回归模型,计算左视角近似系数预测值序列,所述左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列;
第二处理模块,用于将所述历史左视角细节系数序列输入预先建立的自回归滑动平均ARMA模型,得到左视角细节系数预测值序列,其中,所述左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列;
逆小波变换模块,用于对所述左视角近似系数预测值序列和所述左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,所述左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列。
可选的,所述扩展模块,具体用于:
利用第一预设表达式,对所述历史左视角近似系数序列进行扩展,所述第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
可选的,所述建立模块,包括:
第一建立子模块,用于建立初始模型,所述初始模型的表达式为:
Figure GDA0003208123370000051
式中,
Figure GDA0003208123370000061
表示所述历史左视角近似系数扩展序列第i帧的流量值,xi表示所述历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,所述初始模型截距和所述初始模型斜率均为所述短时线性回归模型的参数;
第一处理子模块,用于将所述历史左视角近似系数扩展序列和所述历史右视角流量值序列输入所述初始模型,计算所述短时线性回归模型的参数;
第二建立子模块,用于利用计算得到的所述短时线性回归模型的参数建立短时线性回归模型,所述短时线性回归模型的表达式为:
Figure GDA0003208123370000062
式中,
Figure GDA0003208123370000063
表示所述左视角近似系数预测值序列第i帧的流量值,zi表示所述右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
可选的,所述计算模块,包括:
第二处理子模块,用于将所述右视角流量预测值序列输入所述短时线性回归模型,得到左视角近似系数扩展预测值序列;
下采样子模块,用于对所述左视角近似系数扩展预测值序列进行下采样,得到所述左视角近似系数预测值序列。
可选的,所述装置还包括:
确定模块,用于基于计算得到的所述右视角流量预测值序列和所述左视角流量预测值序列,确定3D视频流量总预测值序列,所述3D视频流量总预测值序列为所述右视角流量预测值序列和所述左视角流量预测值序列组成的序列。
第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令,所述处理器被所述机器可执行指令促使:实现本发明实施例第一方面提供的一种3D视频中的左视角视频流量预测方法的方法步骤。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行本发明实施例第一方面提供的一种3D视频中的左视角视频流量预测方法的方法步骤。
本发明实施例提供的一种3D视频中的左视角视频流量预测方法及装置,在获取3D视频的历史右视角流量值序列和历史左视角流量值序列后,通过将历史右视角流量值序列输入预先建立的LSTAR模型,从而得到右视角流量预测值序列,然后对历史左视角流量值序列进行小波变换,从而得到历史左视角近似系数序列和历史左视角细节系数序列,再对历史左视角近似系数序列进行扩展,并基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型,然后,将右视角流量预测值序列输入短时线性回归模型,从而得到左视角近似系数预测值序列,再将历史左视角细节系数序列输入预先建立的ARMA模型,得到左视角细节系数预测值序列,对得到的左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,该左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列,可见,本发明实施例通过对历史左视角流量值序列进行小波变换,得到的左视角近似系数序列中的数值与历史左视角流量值序列中的数值变化趋势一致,使得历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围,因此能够使左视角当前视频帧的流量值与左视角历史流量值序列的相关性更高,并且,本发明实施例能够基于左右视角视频画面间的相关性,建立以右视角流量预测值序列和左视角近似系数预测值序列为变量的短时线性回归模型,从而避免了因单纯使用现有LSTAR模型对左视角视频流量预测准确率低的问题,因此,本发明实施例能够提高对左视角视频流量预测准确率。当然,实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种3D视频中的左视角视频流量预测方法的流程图;
图2为本发明实施例中步骤S105的一种流程示意图;
图3为本发明实施例中步骤S106的一种流程示意图;
图4为本发明实施例提供的另一种3D视频中的左视角视频流量预测方法的流程图;
图5为应用本发明实施例后历史左视角流量值序列与历史左视角近似系数序列对比图;
图6a为应用LSTAR模型预测方法后的Q-Q plot图;
图6b为应用本发明实施例的3D视频中的左视角视频流量预测方法后的 Q-Q plot图;
图7为本发明实施例提供的一种3D视频中的左视角视频流量预测装置的结构示意图;
图8为本发明实施例中的建立模块的一种结构示意图;
图9为本发明实施例中的计算模块的一种结构示意图;
图10本发明实施例提供的另一种3D视频中的左视角视频流量预测装置的结构示意图;
图11为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种3D视频中的左视角视频流量预测方法,该过程可以包括以下步骤:
S101,获取3D视频的历史右视角流量值序列和历史左视角流量值序列。
在拍摄3D视频时使用两台摄像机同时进行拍摄,可得到左视角视频和右视角视频两个视频,可以为左视角视频生成对应的历史左视角流量值序列,为右视角视频生成对应的历史右视角流量值序列。
本发明实施例可以分别获取该3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,上述历史可以指从拍摄视频时至拍摄完成时的这一段时间,序列为一组时间轴上的数值,则流量值序列就是一组时间轴上的多个视频帧对应的流量值,流量值表示对应的视频帧画面所含的数据量,所以,历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,历史右视角流量值序列中包含要进行流量预测的3D视频中的右视角每一帧视频对应的数据量,历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列,历史左视角流量值序列中包含要进行流量预测的3D视频中的左视角每一帧视频对应的数据量。
需要说明的是,上述生成历史左视角流量值序列、历史右视角流量值序列的过程为现有技术,本发明实施例不再赘述。
S102,将历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列。
其中,右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列,预设的视频帧的个数可以由工作人员根据实际业务需求设置,例如,设置为:200帧,400帧,或者600帧。将历史右视角流量值序列输入LSTAR模型,计算当前视频帧的右视角流量预测值,然后将得到的当前视频帧的右视角流量预测值归入历史右视角流量值序列,继续预测下一视频帧的右视角流量值,直到计算完成预设个数的右视角视频帧流量预测值,得到的所有右视角流量预测值组成右视角流量预测值序列。LSTAR模型的表达式为:
Figure GDA0003208123370000091
式中,p表示LSTAR模型的阶数,i表示求和公式的参数,w(i)(i=0,1,...,2p+1)表示LSTAR模型的参数,e(n)表示模型的预测误差值,F(x(n-d),c,γ)表示逻辑转换函数,其中,逻辑转换函数表达式为:
Figure GDA0003208123370000101
式中,c表示判断是否应该转换当前视频帧的自回归模型的门限值,γ表示转换函数的斜率,d表示模型的延迟参数,n表示时刻。
S103,对历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列。
其中,小波变换为将历史左视角流量值序列输入低通滤波器,得到历史左视角近似系数序列,将历史左视角流量值序列输入高通滤波器,得到历史左视角细节系数序列,将历史左视角流量值序列输入低通滤波器和高通滤波器同时进行,可以不分先后,上述历史左视角近似系数序列中包含历史左视角流量值序列中的每一帧视频对应的数据量的近似系数,历史左视角细节系数序列中包含历史左视角流量值序列中的每一帧视频对应的数据量的细节系数。
可以理解的是,小波变换通过平移母小波可获得原始信号的时域信息,通过缩放尺度小波的宽度可获得原始信号的频域信息,母小波和尺度小波都是小波变换的原始基。一组数据经过小波变换后可以得到这组数据的时频信息,如图5所示,经过小波变换后,历史左视角近似系数序列中的数值变化趋势与历史左视角流量值序列中的数值变化趋势一致,且历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围,可以表示历史左视角流量值序列的频域信息,当前左视角视频帧的流量值与历史左视角视频帧的流量值相关性更大,历史左视角细节系数序列用于表示历史左视角流量值序列在时域上的变化频率,可以表示历史左视角流量值序列的时域信息,历史左视角近似系数序列和历史左视角细节系数序列相比历史左视角流量值序列具有更明显的特征,针对历史左视角近似系数序列和历史左视角细节系数序列各自的特征,可以使用不同的方法进行预测,从而使预测结果更加准确。
S104,对历史左视角近似系数序列进行扩展,使历史左视角近似系数序列长度与历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,序列长度为视频帧的数目。
需要说明的是,对历史左视角流量值序列进行小波变换后,得到历史左视角近似系数序列和历史左视角细节系数序列两个序列,变换得到的总序列长度就变为历史左视角流量值序列的两倍,可以对历史左视角近似系数序列和历史左视角细节系数序列进行下采样,根据奈奎斯特采样定理,可以采1/2的样本,历史左视角近似系数序列和历史左视角近似系数序列长度变为历史左视角流量值序列长度的一半,例如,历史左视角流量值序列的长度为1000,对历史左视角流量值序列进项小波变换后,得到长度为1000的历史左视角近似系数序列和长度为1000的历史左视角细节系数序列,总序列长度为2000,是历史左视角流量值序列的2倍,对历史左视角近似系数序列和历史左视角细节系数序列进项下采样后,历史左视角近似系数序列和历史左视角细节系数序列的长度变为 500。而历史左视角流量值序列和历史右视角流量预测值序列是一致的。为了建立以历史左视角近似系数序列和历史右视角流量预测值序列为变量的短时线性回归模型,需将历史左视角近似系数序列长扩展至与历史右视角流量预测值序列长度一致。
S105,基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型;
首先,建立一个初始模型,将历史左视角近似系数扩展序列和历史右视角流量值序列输入初始模型,计算短时线性回归模型的参数,然后利用计算得到的短时线性回归模型的参数建立短时线性回归模型。
S106,基于短时线性回归模型,计算左视角近似系数预测值序列。
其中,左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列,预设的视频帧的个数可以由工作人员根据实际业务需求设置,例如,设置为:200帧,400帧,或者600帧。
S107,将历史左视角细节系数序列输入预先建立的ARMA (Auto-Regressive andMoving Average,自回归滑动平均)模型,得到左视角细节系数预测值序列。
其中,左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列,预设的视频帧的个数可以由工作人员根据实际业务需求设置,例如,设置为:200帧,400帧,或者600帧。
上述ARMA模型的表达式为:
Figure GDA0003208123370000121
式中,St表示左视角细节系数预测值,
Figure GDA0003208123370000122
表示AR(Auto-Regressive,自回归)过程,
Figure GDA0003208123370000123
表示MA(Moving Average,移动平均)过程,θ表示 AR过程的参数,β表示MA过程的参数,p表示AR过程的阶数,q表示MA过程的阶数,i表示求和公式参数,t表示时刻。
S108,对左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列。
其中,左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列,预设的视频帧的个数可以由工作人员根据实际业务需求设置,例如,设置为:200帧,400帧,或者600帧。可以理解,对历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,那么,对历史左视角近似系数预测值序列和历史左视角细节系数预测值序列进行逆小波变换就得到左视角流量预测值序列。
作为本发明实施例一种可选的实施方式,上述步骤S104,对历史左视角近似系数序列进行扩展的步骤,包括:
利用第一预设表达式,对历史左视角近似系数序列进行扩展,第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,该函数可以为预先设定好的,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
作为本发明实施例一种可选的实施方式,如图2所示,上述步骤S105具体包括:
S1051,建立初始模型,该初始模型的表达式可以为:
Figure GDA0003208123370000131
式中,
Figure GDA0003208123370000132
表示历史左视角近似系数扩展序列第i帧的流量值,xi表示历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,初始模型截距和初始模型斜率均为短时线性回归模型的参数。
S1052,将历史左视角近似系数扩展序列和历史右视角流量值序列输入初始模型,计算短时线性回归模型的参数。
S1053,利用计算得到的短时线性回归模型的参数建立短时线性回归模型,该短时线性回归模型的表达式可以为:
Figure GDA0003208123370000133
式中,
Figure GDA0003208123370000134
表示左视角近似系数预测值序列第i帧的流量值,zi表示右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
作为本发明实施例一种可选的实施方式,如图3所示,上述步骤S106具体包括:
S1061,将右视角流量预测值序列输入短时线性回归模型,得到左视角近似系数扩展预测值序列。
S1062,对左视角近似系数扩展预测值序列进行下采样,得到左视角近似系数预测值序列。
如图4所示,作为本发明实施例一种可选的实施方式,在图1所示流程基础上,本发明实施例的一种3D视频中的左视角视频流量预测方法还可以包括:
基于上述步骤S102计算得到的右视角流量预测值序列和上述步骤S108左视角流量预测值序列,确定3D视频流量总预测值序列,3D视频流量总预测值序列为右视角流量预测值序列和左视角流量预测值序列组成的序列。
S108,将右视角流量预测值序列和左视角流量预测值序列按照帧与帧对应的方式放在一起,3D视频流量总预测值序列包括右视角流量预测值序列和左视角流量预测值序列两个流量值预测值序列,其中,左视角流量预测值序列中每一帧的流量预测值和右视角流量预测值中的每一帧流量预测值一一对应,确定了3D视频流量总预测值序列后,可以同时查看某一帧视频的左视角流量预测值和右视角流量预测值,而不用分开查看,因此,在查看某一帧视频的流量值时更加便捷。
为了验证本发明实施例,在MATLAB软件中进行仿真,从密度分布函数和 NMSE(normalized mean-square error,归一化均方误差)两个方面来对现有的自适应LSTAR模型预测方法与本发明实施例的3D视频中左视角视频流量预测方法进行评估。
表1在MATLAB软件中预测时使用的参数
Figure GDA0003208123370000141
Figure GDA0003208123370000151
其中,LSTAR模型预测方法的核函数表示为: K(G(i),G(j))=tanh(aGT(i)G(j)+b),该核函数用于提高LSTAR模型预测方法的准确度,K表示核函数,tanh表示双曲正切函数,G(j)表示(2p+2)×1的历史右视角流量值序列对应的向量,G(i)表示G(j)经过一定运算后得到的向量, a表示核函数的斜率,b表示核函数的截距;
本发明实施例中的一种3D视频中左视角视频流量预测方法,小波变换中的参数ψ(t)表示母小波函数,φ(t)表示尺度函数。
可以采用Q-Q plot(Quantile-Quantile plot,分位比较)工具的Q-Q plot图来分别对LSTAR模型预测方法得到的左视角流量预测值序列的密度分布函数和本发明实施例中的一种3D视频中的左视角视频流量预测方法得到的左视角流量预测值序列的密度分布函数进行评估。Q-Q plot图的原理为假设有两个随机变量X和Y,对于给定的值γ有P[X≤γ]=x,P[Y≤γ]=y,Q-Q plot便是由多对(x,y)组成的图像,当两个数据集合具有相同的密度分布函数时,(x,y) 点集合应该集中在直线y=x上。因此,当模型生成的流量数据和实际的流量数据的Q-Q plot结果越接近于直线y=x,说明预测方法的准确度越高。相反,如果Q-Q plot结果偏离直线y=x,说明预测方法的准确度越低。Q-Q plot结果用散点图来表示。
图6a为现有LSTAR模型预测方法的Q-Q plot图,Q-Qplot图的X轴表示 3D视频实际左视角流量值序列,Y轴表示现有LSTAR模型预测方法得到的左视角流量预测值序列,图中的虚直线表示y=x,散点图表示LSTAR模型预测方法的Q-Q plot结果,可以看出,当X轴上3D视频实际流量值序列的流量值小于70000bits时,LSTAR模型预测方法得到的左视角流量预测值序列与3D 视频实际左视角流量值序列的的密度分布函数相近,Q-Q plot结果集中在直线y=x上,当流量值大于70000bits时,Q-Q plot结果偏离直线y=x。
图6b为本发明实施例中的一种3D视频中的左视角视频流量预测方法的 Q-Q plot图,Q-Qplot图的X轴表示3D视频实际左视角流量值序列,Y轴表示本发明实施例的预测方法得到的左视角流量预测值序列,图中的虚直线表示 y=x,散点图表示本发明实施例中的一种3D视频中的左视角视频流量预测方法的Q-Q plot结果,可以看出,当流量值为任意值时,本发明实施例的预测方法得到的左视角流量预测值序列与3D视频实际左视角流量值序列的的密度分布函数相近,Q-Q plot结果集中在直线y=x上,仅有少数几个散点偏离了直线y=x。
因此,本发明实施例中的3D视频中的左视角视频流量预测方法得到的得到的左视角流量预测值序列与3D视频实际左视角流量值序列相近,准确率更高。
NMSE是衡量平均误差的一种方法,可用于度量3D视频流量预测值与真实值的差异。归一化均方误差的计算公式为:
Figure GDA0003208123370000161
式中,x(n+k)表示3D视频实际流量值,
Figure GDA0003208123370000162
表示预测方法的 3D视频流量总预测值,N表示序列总长度,σ2表示方差,n表示时刻,NMSE 值越小,说明在预测方法发在时间轴上的预测结果越准确。
如表2所示,表2为对4个3D视频分别使用LSTAR模型预测方法和一种3D视频流量中的左视角流量预测方法的NMSE对比图。
从表中可以看出一种3D视频流量中的左视角流量预测方法的误差值仅为 LSTAR模型预测方法误差值的10%-50%不等。说明本发明实施例中3D视频流量中的左视角流量预测方法相比LSTAR模型预测方法在预测准确度上有大的提升。
表2不同预测方法NMSE对比
Figure GDA0003208123370000171
本发明实施例提供的一种3D视频中的左视角视频流量预测方法,在获取 3D视频的历史右视角流量值序列和历史左视角流量值序列后,通过将历史右视角流量值序列输入预先建立的LSTAR模型,从而得到右视角流量预测值序列,然后对历史左视角流量值序列进行小波变换,从而得到历史左视角近似系数序列和历史左视角细节系数序列,再对历史左视角近似系数序列进行扩展,并基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型,然后,将右视角流量预测值序列输入短时线性回归模型,从而得到左视角近似系数预测值序列,再将历史左视角细节系数序列输入预先建立的ARMA 模型,得到左视角细节系数预测值序列,对得到的左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,该左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列,可见,本发明实施例通过对历史左视角流量值序列进行小波变换,得到的左视角近似系数序列中的数值与历史左视角流量值序列中的数值变化趋势一致,使得历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围,因此能够使左视角当前视频帧的流量值与左视角历史流量值序列的相关性更高,并且,本发明实施例能够基于左右视角视频画面间的相关性,建立以右视角流量预测值序列和左视角近似系数预测值序列为变量的短时线性回归模型,从而避免了因单纯使用现有LSTAR模型对左视角视频流量预测准确率低的问题,因此,本发明实施例能够提高对左视角视频流量预测准确率。
如图7所示,本发明实施例还提供了一种3D视频中的左视角视频流量预测装置,包括:
获取模块201,用于获取3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列。
第一处理模块202,用于将历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列,其中,右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列。
小波变换模块203,用于对历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,其中,历史左视角近似系数序列中的数值变化趋势与历史左视角流量值序列中的数值变化趋势一致,且历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围;历史左视角细节系数序列用于表示历史左视角流量值序列在时域上的变化频率。
扩展模块204,用于对历史左视角近似系数序列进行扩展,使历史左视角近似系数序列长度与历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,序列长度为视频帧的数目。
建立模块205,用于基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型。
计算模块206,用于基于短时线性回归模型,计算左视角近似系数预测值序列,左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列。
第二处理模块207,用于将历史左视角细节系数序列输入预先建立的自回归滑动平均ARMA模型,得到左视角细节系数预测值序列,其中,左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列。
逆小波变换模块208,用于对左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列。
作为本发明实施例一种可选的实施方式,上述扩展模块204,具体用于:
利用第一预设表达式,对历史左视角近似系数序列进行扩展,第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
作为本发明实施例一种可选的实施方式,如图-8 所示,上述建立模块205包括:
第一建立子模块2051,用于建立初始模型,初始模型的表达式为:
Figure GDA0003208123370000191
式中,
Figure GDA0003208123370000201
表示历史左视角近似系数扩展序列第i帧的流量值,xi表示历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,初始模型截距和初始模型斜率均为短时线性回归模型的参数。
第一处理子模块2052,用于将历史左视角近似系数扩展序列和历史右视角流量值序列输入初始模型,计算短时线性回归模型的参数。
第二建立子模块2053,用于利用计算得到的短时线性回归模型的参数建立短时线性回归模型,短时线性回归模型的表达式为:
Figure GDA0003208123370000202
式中,
Figure GDA0003208123370000203
表示左视角近似系数预测值序列第i帧的流量值,zi表示右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
作为本发明实施例一种可选的实施方式,如图9 所示,上述计算模块206具体包括:
第二处理子模块2061,用于将右视角流量预测值序列输入短时线性回归模型,得到左视角近似系数扩展预测值序列。
下采样子模块2062,用于对左视角近似系数扩展预测值序列进行下采样,得到左视角近似系数预测值序列。
作为本发明实施例一种可选的实施方式,在图7所示装置结构的基础上,如图10所示,本发明实施例的一种3D视频中的左视角视频流量预测装置还包括:
确定模块209,用于基于计算得到的右视角流量预测值序列和左视角流量预测值序列,确定3D视频流量总预测值序列,3D视频流量总预测值序列为多个历史视频帧各自对应的左视角视频帧和右视角视频帧的数据量之和组成的序列。
本发明实施例提供的一种3D视频中的左视角视频流量预测方法,在获取 3D视频的历史右视角流量值序列和历史左视角流量值序列后,通过将历史右视角流量值序列输入预先建立的LSTAR模型,从而得到右视角流量预测值序列,然后对历史左视角流量值序列进行小波变换,从而得到历史左视角近似系数序列和历史左视角细节系数序列,再对历史左视角近似系数序列进行扩展,并基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型,然后,将右视角流量预测值序列输入短时线性回归模型,从而得到左视角近似系数预测值序列,再将历史左视角细节系数序列输入预先建立的ARMA 模型,得到左视角细节系数预测值序列,对得到的左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,该左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列,可见,本发明实施例通过对历史左视角流量值序列进行小波变换,得到的左视角近似系数序列中的数值与历史左视角流量值序列中的数值变化趋势一致,使得历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围,因此能够使左视角当前视频帧的流量值与左视角历史流量值序列的相关性更高,并且,本发明实施例能够基于左右视角视频画面间的相关性,建立以右视角流量预测值序列和左视角近似系数预测值序列为变量的短时线性回归模型,从而避免了因单纯使用现有LSTAR模型对左视角视频流量预测准确率低的问题,因此,本发明实施例能够提高对左视角视频流量预测准确率。
本发明实施例还提供了一种电子设备,如图11 所示,包括处理器301、通信接口302、存储器303和通信总线304,其中,处理器301,通信接口302,存储器303通过通信总线304完成相互间的通信,存储器303,用于存放计算机程序;
处理器301,用于执行存储器303上所存放的程序时,实现如下步骤:
获取3D视频的历史右视角流量值序列和历史左视角流量值序列;将历史右视角流量值序列输入预先建立的LSTAR模型,得到右视角流量预测值序列;对历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列;对历史左视角近似系数序列进行扩展;基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型;将右视角流量预测值序列输入短时线性回归模型,得到左视角近似系数预测值序列;将历史左视角细节系数序列输入预先建立的ARMA模型,得到左视角细节系数预测值序列;对得到的左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器 (DigitalSignal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述任一一种3D视频流量中的左视角视频流量预测方法的步骤。
本发明实施例提供的的电子设备以及计算机可读存储介质,在获取3D视频的历史右视角流量值序列和历史左视角流量值序列后,通过将历史右视角流量值序列输入预先建立的LSTAR模型,从而得到右视角流量预测值序列,然后对历史左视角流量值序列进行小波变换,从而得到历史左视角近似系数序列和历史左视角细节系数序列,再对历史左视角近似系数序列进行扩展,并基于历史右视角流量值序列和历史左视角近似系数扩展序列,建立短时线性回归模型,然后,将右视角流量预测值序列输入短时线性回归模型,从而得到左视角近似系数预测值序列,再将历史左视角细节系数序列输入预先建立的ARMA模型,得到左视角细节系数预测值序列,对得到的左视角近似系数预测值序列和左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,该左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列,可见,本发明实施例通过对历史左视角流量值序列进行小波变换,得到的左视角近似系数序列中的数值与历史左视角流量值序列中的数值变化趋势一致,使得历史左视角近似系数序列中的数值变化范围小于历史左视角流量值序列中的数值变化范围,因此能够使左视角当前视频帧的流量值与左视角历史流量值序列的相关性更高,并且,本发明实施例能够基于左右视角视频画面间的相关性,建立以右视角流量预测值序列和左视角近似系数预测值序列为变量的短时线性回归模型,从而避免了因单纯使用现有LSTAR模型对左视角视频流量预测准确率低的问题,因此,本发明实施例能够提高对左视角视频流量预测准确率。
对于装置/存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,本发明实施例的装置及存储介质分别是应用上述一种3D视频流量中的左视角视频流量预测方法的装置及存储介质,则上述一种3D视频流量中的左视角视频流量预测方法的所有实施例均适用于该装置及存储介质,且均能达到相同或相似的有益效果。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (9)

1.一种3D视频中的左视角视频流量预测方法,其特征在于,所述方法包括:
获取3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,所述历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,所述历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列;
将所述历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列,其中,所述右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列;
对所述历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,其中,所述历史左视角近似系数序列中的数值变化趋势与所述历史左视角流量值序列中的数值变化趋势一致,且所述历史左视角近似系数序列中的数值变化范围小于所述历史左视角流量值序列中的数值变化范围;所述历史左视角细节系数序列用于表示所述历史左视角流量值序列在时域上的变化频率;
对所述历史左视角近似系数序列进行扩展,使所述历史左视角近似系数序列长度与所述历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,所述序列长度为视频帧的数目;
基于所述历史右视角流量值序列和所述历史左视角近似系数扩展序列,建立短时线性回归模型;
将所述右视角流量预测值序列输入所述短时线性回归模型,得到左视角近似系数扩展预测值序列;对所述左视角近似系数扩展预测值序列进行下采样,得到所述左视角近似系数预测值序列;所述左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列;
将所述历史左视角细节系数序列输入预先建立的自回归滑动平均ARMA模型,得到左视角细节系数预测值序列,其中,所述左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列;
对所述左视角近似系数预测值序列和所述左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,所述左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列。
2.根据权利要求1所述的方法,其特征在于,所述对所述历史左视角近似系数序列进行扩展的步骤,包括:
利用第一预设表达式,对所述历史左视角近似系数序列进行扩展,所述第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
3.根据权利要求1所述的方法,其特征在于,所述基于所述历史右视角流量值序列与所述历史左视角近似系数扩展序列,建立短时线性回归模型的步骤,包括:
建立初始模型,所述初始模型的表达式为:
Figure FDA0003208123360000021
式中,
Figure FDA0003208123360000022
表示所述历史左视角近似系数扩展序列第i帧的流量值,xi表示所述历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,所述初始模型截距和所述初始模型斜率均为所述短时线性回归模型的参数;
将所述历史左视角近似系数扩展序列和所述历史右视角流量值序列输入所述初始模型,计算所述短时线性回归模型的参数;
利用计算得到的所述短时线性回归模型的参数建立短时线性回归模型,所述短时线性回归模型的表达式为:
Figure FDA0003208123360000023
式中,
Figure FDA0003208123360000024
表示所述左视角近似系数预测值序列第i帧的流量值,zi表示所述右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于计算得到的所述右视角流量预测值序列和所述左视角流量预测值序列,确定3D视频流量总预测值序列,所述3D视频流量总预测值序列为所述右视角流量预测值序列和所述左视角流量预测值序列组成的序列。
5.一种3D视频中的左视角视频流量预测装置,其特征在于,所述装置包括:
获取模块,用于获取3D视频的历史右视角流量值序列和历史左视角流量值序列,其中,所述历史右视角流量值序列为多个历史右视角视频帧各自对应的数据量组成的序列,所述历史左视角流量值序列为多个历史左视角视频帧各自对应的数据量组成的序列;
第一处理模块,用于将所述历史右视角流量值序列输入预先建立的自适应逻辑平滑转换自回归LSTAR模型,得到右视角流量预测值序列,其中,所述右视角流量预测值序列为对预设个数右视角视频帧经预测后得到的流量值所组成的序列;
小波变换模块,用于对所述历史左视角流量值序列进行小波变换,得到历史左视角近似系数序列和历史左视角细节系数序列,其中,所述历史左视角近似系数序列中的数值变化趋势与所述历史左视角流量值序列中的数值变化趋势一致,且所述历史左视角近似系数序列中的数值变化范围小于所述历史左视角流量值序列中的数值变化范围;所述历史左视角细节系数序列用于表示所述历史左视角流量值序列在时域上的变化频率;
扩展模块,用于对所述历史左视角近似系数序列进行扩展,使所述历史左视角近似系数序列长度与所述历史右视角流量值序列长度相同,得到扩展后的历史左视角近似系数序列,所述序列长度为视频帧的数目;
建立模块,用于基于所述历史右视角流量值序列和所述历史左视角近似系数扩展序列,建立短时线性回归模型;
计算模块,将所述右视角流量预测值序列输入所述短时线性回归模型,得到左视角近似系数扩展预测值序列;对所述左视角近似系数扩展预测值序列进行下采样,计算得到所述左视角近似系数预测值序列;所述左视角近似系数预测值序列为对预设个数左视角视频帧对应的数据量的近似系数经预测后,得到的近似系数预测值所组成的序列;
第二处理模块,用于将所述历史左视角细节系数序列输入预先建立的自回归滑动平均ARMA模型,得到左视角细节系数预测值序列,其中,所述左视角细节系数预测值序列为对预设个数左视角视频帧对应的数据量的细节系数经预测后,得到的细节系数预测值所组成的序列;
逆小波变换模块,用于对所述左视角近似系数预测值序列和所述左视角细节系数预测值序列进行逆小波变换,得到左视角流量预测值序列,所述左视角流量预测值序列为对预设个数左视角视频帧经预测后得到的流量值所组成的序列。
6.根据权利要求5所述的装置,其特征在于,所述扩展模块,具体用于:
利用第一预设表达式,对所述历史左视角近似系数序列进行扩展,所述第一预设表达式为:
cAexpansion(i)=cA(ceil(i/2)),i=1,2,...,N
式中,cAexpansion(i)表示历史左视角近似系数扩展序列,ceil(·)表示向上取整运算函数,i表示视频帧号,N表示历史左视角近似系数扩展序列长度。
7.根据权利要求5所述的装置,其特征在于,所述建立模块,包括:
第一建立子模块,用于建立初始模型,所述初始模型的表达式为:
Figure FDA0003208123360000041
式中,
Figure FDA0003208123360000042
表示所述历史左视角近似系数扩展序列第i帧的流量值,xi表示所述历史右视角流量值序列第i帧的流量值,a表示初始模型截距,b表示初始模型斜率,所述初始模型截距和所述初始模型斜率均为所述短时线性回归模型的参数;
第一处理子模块,用于将所述历史左视角近似系数扩展序列和所述历史右视角流量值序列输入所述初始模型,计算所述短时线性回归模型的参数;
第二建立子模块,用于利用计算得到的所述短时线性回归模型的参数建立短时线性回归模型,所述短时线性回归模型的表达式为:
Figure FDA0003208123360000051
式中,
Figure FDA0003208123360000052
表示所述左视角近似系数预测值序列第i帧的流量值,zi表示所述右视角流量预测值序列第i帧的流量值,c1表示短时线性回归模型截距,c2表示短时线性回归模型斜率。
8.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-4任一所述的方法步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
CN201910812950.7A 2019-08-30 2019-08-30 一种3d视频中的左视角视频流量预测方法及装置 Active CN110536137B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910812950.7A CN110536137B (zh) 2019-08-30 2019-08-30 一种3d视频中的左视角视频流量预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910812950.7A CN110536137B (zh) 2019-08-30 2019-08-30 一种3d视频中的左视角视频流量预测方法及装置

Publications (2)

Publication Number Publication Date
CN110536137A CN110536137A (zh) 2019-12-03
CN110536137B true CN110536137B (zh) 2021-12-10

Family

ID=68665428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812950.7A Active CN110536137B (zh) 2019-08-30 2019-08-30 一种3d视频中的左视角视频流量预测方法及装置

Country Status (1)

Country Link
CN (1) CN110536137B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888566A (zh) * 2010-06-30 2010-11-17 清华大学 立体视频编码率失真性能估计方法
CN107071423A (zh) * 2017-04-24 2017-08-18 天津大学 视觉多通道模型在立体视频质量客观评价中的应用方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120015443A (ko) * 2009-04-13 2012-02-21 리얼디 인크. 향상된 해상도의 스테레오스코픽 비디오의 엔코딩, 디코딩 및 배포
US8750383B2 (en) * 2011-01-17 2014-06-10 Exaimage Corporation Systems and methods for wavelet and channel-based high definition video encoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101888566A (zh) * 2010-06-30 2010-11-17 清华大学 立体视频编码率失真性能估计方法
CN107071423A (zh) * 2017-04-24 2017-08-18 天津大学 视觉多通道模型在立体视频质量客观评价中的应用方法

Also Published As

Publication number Publication date
CN110536137A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
Zhang et al. Low-rank decomposition-based restoration of compressed images via adaptive noise estimation
EP2300987B1 (en) System and method for depth extraction of images with motion compensation
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
EP2291825B1 (en) System and method for depth extraction of images with forward and backward depth prediction
TWI434225B (zh) Stereo Matching Method Using Quantitative Operation of Image Intensity Value
EP2836963B1 (en) Noise reduction for image sequences
WO1999052069A1 (en) Temporal smoothing of scene analysis data for image sequence generation
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
WO2021093060A1 (zh) 一种视频编码方法、系统及设备
WO2023160426A1 (zh) 视频插帧方法、训练方法、装置和电子设备
CN114511605B (zh) 光场深度估计方法、装置、电子设备及存储介质
Nguyen et al. Error analysis for image-based rendering with depth information
JP2022101507A (ja) インテリジェントノイズ除去
CN109934307B (zh) 视差图预测模型训练方法、预测方法、装置及电子设备
CN110536137B (zh) 一种3d视频中的左视角视频流量预测方法及装置
CN112084855B (zh) 一种基于改进ransac方法对视频流的外点剔除方法
JP5603341B2 (ja) 位相面相関のための適応周波数領域フィルタリング
Le et al. A new depth image quality metric using a pair of color and depth images
CN112801883A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Vosters et al. Efficient and stable sparse-to-dense conversion for automatic 2-D to 3-D conversion
CN110944211B (zh) 用于帧内预测的插值滤波方法、装置、介质及电子设备
CN113014928A (zh) 一种补偿帧生成方法及装置
CN112288838A (zh) 一种数据处理方法及装置
Esmilizaini et al. Tuning shape parameter of radial basis functions in zooming images using genetic algorithm
CN114554248B (zh) 一种基于神经网络的视频插帧方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant