CN102055967A - 多视点视频的视角切换以及编码方法和装置 - Google Patents
多视点视频的视角切换以及编码方法和装置 Download PDFInfo
- Publication number
- CN102055967A CN102055967A CN 200910236741 CN200910236741A CN102055967A CN 102055967 A CN102055967 A CN 102055967A CN 200910236741 CN200910236741 CN 200910236741 CN 200910236741 A CN200910236741 A CN 200910236741A CN 102055967 A CN102055967 A CN 102055967A
- Authority
- CN
- China
- Prior art keywords
- visual angle
- frame
- video
- switch
- code stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种多视点视频的视角切换方法和装置,用以解决现有技术中当切换角度比较大时切换画面的连续性较差,系统负荷较大的问题。每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,视角切换帧与本视角的相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,其中任意两个相邻视角之间的视角切换,包括:在第一视角的视频编码码流的视角切换帧达时,控制播放该视角切换帧,并从第一视角切换到与该视角切换帧具有相同图像的视频帧所在的第二视角。本发明还公开一种多视点视频的编码方法和装置。
Description
技术领域
本发明涉及多视点视频技术领域,尤其涉及一种多视点视频的视角切换以及编码方法和装置。
背景技术
多视点视频是视频业务的一项重要内容,其特点是用户可以自由地选择观看的视角,从而可以观看被拍摄物体(场景)的不同侧面。如图1所示,多视点视频的实现方法是在拍摄时通过多个角度对同一物体(场景)进行拍摄,按照顺时针方向视角编号依次为1、2、3...16;在编码时对每一个视角的视频流分别进行编码,得到多视点视频编码码流(包括每一个视角的视频编码码流);在播放时需要根据用户的需求对相应视角的视频编码码流进行解码和显示。
多视点视频的视角切换是指播放时在任意两个视角之间进行切换。如图2所示,为具有四个视角的多视点视频编码码流的帧结构示意图,其中横坐标表示时间(t),纵坐标表示视角编号。各帧图像定义为I帧、P帧和B帧三种类型,其中I帧为帧内编码图像,是指使用本帧内的数据进行编码的图像;P帧为前向预测编码图像,是根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像;B帧为双向预测编码图像,是根据前面和后面的I帧或P帧进行双向预测编码的图像。
现有技术中,多视点视频的视角切换可以采用以下两种实现方案:
实现方案一、假设针对图2所示的多视点视频,在播放B[1][10]时用户发起从视角1到视角4的视角切换,在播放完B[1][10]后,依次播放I[2][11]、I[3][11]、I[4][11]、B[4][12],即可实现从视角1到视角4的视角切换。该方案必需在原来播放一帧的时间内完成三帧的播放,切换画面过快,视觉效果不好;并且在一帧时间内,解码器需要解码三帧,显示器需要显示三帧,对于解码器和显示器的要求很高,当切换视角较大时(例如从视角1切换到视角9),解码器和显示器将难以承受。由于视频帧的解码有依赖关系,B帧和P帧的解码需要依赖最近的I帧,如果各视角的I帧不同步,每切换一个视角,就需要等待一个I帧的到达,当切换角度较大时(如从视角1到视角9),切换时间会比较长。同时,如果切换角度过大,会引起I帧密集,从而增大对带宽的需求。
实现方案二:将多个视角进行视角组的划分,例如视角1到视角4可视为一个视角组。视角组内各视角对应视频流的编码,以中心视角的I帧作为关键帧,其他视角的视频帧直接或间接依赖于该关键帧进行预测编码。如图3所示,P[3][1]、P[1][1]依赖于I[2][1]进行预测编码,P[4][1]依赖于P[3][1]进行预测编码,使得各视角之间存在依赖关系,不能独立解码。该方案仅支持同一视角组内的视角切换,不支持不同视角组之间的视角切换。针对同一视角组内的视角切换,例如从视角1切换到视角4时,需要将I[2][1]、P[1][1]、P[3][1]、P[4][1]全部解码,在原来解码一帧的时间内完成四帧的解码,切换画面过快,视觉效果不好,并且随着切换角度的增大,解码帧数随之增加,系统负荷将快速增加。
综上,现有技术中提供的多视点视频的视角切换方案,当切换角度比较小(切换点相邻)时切换画面的连续性较佳,例如从视角1切换到视角2;当切换角度比较大时切换画面的连续性较差,系统负荷较大,例如从视角1切换到视角9,并且随着切换角度的增大切换画面的连续性进一步变差,系统负荷快速增加。
发明内容
本发明提供一种多视点视频的视角切换方法和装置,用以解决现有技术中当切换角度比较大时切换画面的连续性较差,系统负荷较大的问题。
本发明提供一种多视点视频的编码方法和装置,用以形成易于视角平滑切换的多视点视频编码码流的帧结构。
本发明提供的一种多视点视频的视角切换方法,每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,其中任意两个相邻第一视角和第二视角之间的视角切换,包括:
在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。
本发明提供的多视点视频的视角切换装置,包括触发单元和切换单元,其中:
所述触发单元,用于在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,触发所述切换单元,其中每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
所述切换单元,用于在所述触发单元的触发下,从当前视角依次经由各中间视角最终切换到目标视角,针对其中任意两个相邻第一视角和第二视角之间的视角切换,在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。
本发明提供的多视点视频的编码方法,包括:
对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;并
在每一个视角的视频编码码流中插入与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像。
本发明提供的多视点视频的编码装置,包括:
第一编码单元,用于对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;
第二编码单元,用于编码得到与每一个视角的视频编码码流中特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
插入单元,用于在每一个视角的视频编码码流中插入所述第二编码单元编码得到的视角切换帧。
本发明提供的多视点视频的视角切换方法和装置,在多视点视频编码码流的改进型帧结构基础上,根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,针对其中任意两个相邻视角之间的视角切换,在第一视角的视频编码码流的特定视频帧和视角切换帧并行到达时,控制播放视角切换帧,并从第一视角切换到视角切换帧对应的第二视角。由于第一视角的视角切换帧与第二视角中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,因此可以实现该两个相邻视角之间的视角平滑切换,从当前视角到目标视角的任意两个相邻视角之间均可实现视角平滑切换,使得任意两个视角之间的平滑切换得以实现;本方案在现有帧结构的基础上增加少量视角切换帧即可实现,对带宽的需求较小,随着切换角度的增加系统负荷不受影响。
本发明提供的多视点视频的编码方法和装置,在多视点视频的编码过程中,在每一个视角的视频编码码流中插入与特定视频帧并行传输的视角切换帧,从而形成易于视角平滑切换的多视点视频编码码流的帧结构,为多视点视频的视角切换过程中提升切换画面的连续性、降低系统负荷打下基础。
附图说明
图1为现有技术中多视点视频的实现方法示意图;
图2为现有技术中多视点视频编码码流的帧结构示意图;
图3为现有技术中基于视角组的多视点视频编码码流的帧结构示意图;
图4为本发明实施例中多视点视频编码码流的改进型帧结构示意图;
图5为本发明实施例中多视点视频的编码方法流程图;
图6为本发明实施例中多视点视频的编码装置框图;
图7为本发明实施例中多视点视频的视角切换装置框图。
具体实施方式
针对现有技术中存在的当切换角度比较大时切换画面的连续性较差,系统负荷较大的问题,本发明实施例首先提供了一种多视点视频编码码流的改进型帧结构,如图4所示,以具有四个视角的多视点视频编码码流为例进行说明,其中横坐标表示时间(t),纵坐标表示视角编号。本发明实施例提供的改进型帧结构,在现有多视点视频编码码流的帧结构基础上引入了视角切换帧。视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像。基于I帧、P帧和B帧三种类型的视频帧各自具有的编码特点,较佳的选定视角切换帧的类型为P帧。
需要说明的是,由于每一个视角均有两个相邻视角,例如视角2的顺时针方向相邻视角为视角3,逆时针方向相邻视角为视角1,所述的本视角的下一相邻视角是与切换方向相关的,例如切换方向为顺时针方向,则视角2的下一相邻视角是指视角3,切换方向为逆时针方向,则视角2的下一相邻视角是指视角1。基于此,视角切换帧包括顺时针方向切换帧(PSL)和逆时针方向切换帧(PSR),顺时针方向切换帧与本视角的顺时针方向下一相邻视角的视频编码码流中与该顺时针方向切换帧处于相同时间位置上的视频帧具有相同图像,逆时针方向切换帧与本视角的逆时针方向下一相邻视角的视频编码码流中与该逆时针方向切换帧处于相同时间位置上的视频帧具有相同图像。例如对于图4中视角2的视频编码码流来说,PSL[2][5]与PSPL[3][5]的图像相同,PSR[2][7]与PSPR[1][7]的图像相同。在具体的改进型帧结构中,可以仅包括顺时针方向切换帧,也可以仅包括逆时针方向切换帧,当然还可以包括顺时针方向切换帧和逆时针方向切换帧。例如同样是从视角1切换到视角4,如果改进型帧结构中仅包括顺时针方向切换帧,相应的切换路径为视角1→视角2→视角3→视角4;如果改进型帧结构中仅包括逆时针方向切换帧,相应的切换路径为视角1→视角16→视角15...→视角5→视角4;如果改进型帧结构中包括顺时针方向切换帧和逆时针方向切换帧,相应的可以根据顺时针方向切换帧按照顺时针方向从当前视角依次经由各中间视角最终切换到目标视角,也可以根据逆时针方向切换帧按照逆时针方向从当前视角依次经由各中间视角最终切换到目标视角,一般选取切换点较少的切换路径。
视角切换帧由P帧部分和残差部分组成,P帧部分是以本视角的视频编码码流中特定视频帧作为参考帧,进行帧间预测编码得到的;残差部分是对P帧部分与本视角的下一相邻视角的视频编码码流中与该特定视频帧处于相同时间位置上的视频帧之间的差值进行无损压缩编码得到的。例如视角切换帧PSL[1][3]的P帧部分是以P[1][3]作为参考帧,进行帧间预测编码得到的,残差部分是对P帧部分与PSPL[2][3]之间的差值进行无损压缩编码得到的,从而使得PSL[1][3]与PSPL[2][3]具有相同图像,不同的是,PSL[1][3]的解码需要依赖最近的I帧即I[1][1];PSPL[2][3]的解码需要依赖最近的I帧即I[2][1]。具体实施中,可以在视角切换帧的帧头中增加特殊标志,用于表示本视频帧可以进行视角切换并同时指示切换方向(顺时针方向还是逆时针方向)。
基于上述多视点视频编码码流的改进型帧结构,本发明实施例提供了一种多视点视频的编码方法,用以形成易于视角平滑切换的多视点视频编码码流的帧结构,从而为多视点视频的视角切换过程中提升切换画面的连续性、降低系统负荷打下基础。如图5所示,多视点视频的编码方法,包括如下步骤:
S501、对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;
具体实施中,本步骤与现有技术中采用的对各视频流分别进行独立编码的处理流程完全一致,各帧图像定义为I帧、P帧和B帧三种类型,其中I帧为帧内编码图像,是只使用本帧内的数据进行编码的图像;P帧为前向预测编码图像,是根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像;B帧为双向预测编码图像,是根据前面和后面的I帧或P帧进行双向预测编码的图像。
S502、在每一个视角的视频编码码流中插入与特定视频帧并行传输的视角切换帧,其中视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
具体实施中,每一个视角的视频编码码流中,视角切换帧的类型为P帧,视角切换帧的编码方法具体包括:
步骤a、以本视角的视频编码码流中特定视频帧作为参考帧,进行帧间预测编码得到P帧部分;
步骤b、对P帧部分与本视角的下一相邻视角的视频编码码流中与该特定视频帧处于相同时间位置上的视频帧之间的差值进行无损压缩编码得到残差部分;
步骤c、将P帧部分和残差部分组成视角切换帧。
基于同一技术构思,本发明实施例提供了一种多视点视频的编码装置,设置在多视点视频的发送端,如图6所示,包括:
第一编码单元601,用于对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;
第二编码单元602,用于编码得到与每一个视角的视频编码码流中特定视频帧并行传输的视角切换帧,其中视角切换帧与本视角的相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
插入单元603,用于在每一个视角的视频编码码流中插入第二编码单元602编码得到的视角切换帧。
在上述多视点视频的编码方案基础上,本发明实施例同时提供了一种多视点视频的视角切换方法,每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,其中视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,其中任意两个相邻第一视角和第二视角之间的视角切换,包括:
在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角,需要说明的是,在第一视角的视频编码码流的视角切换帧到达时,还有特定视频帧与该视角切换帧并行到达,但是视角切换过程中控制播放第一视角的视频编码码流的视角切换帧,而对特定视频帧不作任何处理。
具体实施中,如果在多视点视频的播放过程中用户没有发起视角切换,在当前视角的视频编码码流的特定视频帧到达时,控制播放当前视角的视频编码码流的特定视频帧,并丢弃与该特定视频帧并行到达的视角切换帧。
以图4所示的改进型帧结构为例,说明多视点视频的视角切换方法,视角切换帧包括顺时针方向切换帧(PSL)和逆时针方向切换帧(PSR),如果用户发起从视角1到视角4的视角切换,较佳的可以根据PSL按照顺时针方向从当前视角依次经由各中间视角最终切换到目标视角,即视角1→视角2→视角3→视角4,假设在播放I[1][1]时用户发起从视角1到视角4的视角切换,视角切换过程中具体的视频帧的播放依次为:
I[1][1]-->B[1][2]-->PSL[1][3]/PSPL[2][3]-->B[2][4]-->PSL[2][5]/PSPL[3][5]-->B[3][6]-->PSL[3][7]/PSPL[4][7]-->B[4][8]-->...
下面对整个视角切换过程进行简要说明:
在播放I[1][1]时用户发起从视角1到视角4的视角切换,根据用户发起的从当前视角(视角1)到目标视角(视角4)的视角切换,在视角1的视频编码码流的P[1][3]和视角切换帧PSL[1][3]并行到达时,控制播放视角1的视频编码码流的视角切换帧PSL[1][3],并从视角1切换到与视角切换帧PSL[1][3]具有相同图像的视频帧PSPL[2][3]所在的视角2;需要说明的是,如果用户没有发起从视角1到视角4的视角切换,在播放视角1的视频编码码流的过程中,在P[1][3]和视角切换帧PSL[1][3]并行到达时,控制播放P[1][3],并丢弃视角切换帧PSL[1][3];
由于PSL[1][3]与PSPL[2][3]具有相同图像,从视角1切换到视角2之后,无需解码PSPL[2][3],后续需要依赖PSPL[2][3]进行解码的视频帧可以直接根据PSL[1][3]的图像数据进行解码并显示,因此可以直接播放B[2][4],在视角2的视频编码码流的P[2][5]和视角切换帧PSL[2][5]并行到达时,控制播放视角2的视频编码码流的视角切换帧PSL[2][5],并从视角2切换到与视角切换帧PSL[2][5]具有相同图像的视频帧PSPL[3][5]所在的视角3;
同理,由于PSL[2][5]与PSPL[3][5]具有相同图像,从视角2切换到视角3之后,无需解码PSPL[3][5],后续需要依赖PSPL[3][5]进行解码的视频帧可以直接根据PSL[2][5]的图像数据进行解码并显示,因此可以直接播放B[3][6],在视角3的视频编码码流的P[3][7]和视角切换帧PSL[3][7]并行到达时,控制播放视角3的视频编码码流的视角切换帧PSL[3][7],并从视角3切换到与视角切换帧PSL[3][7]具有相同图像的视频帧PSPL[4][7]所在的视角4;
至此已经完成了从视角1到视角4的切换,由于PSL[3][7]与PSPL[4][7]具有相同图像,从视角3切换到视角4之后,无需解码PSPL[4][7],后续需要依赖PSPL[4][7]进行解码的视频帧可以直接根据PSL[3][7]的图像数据进行解码并显示,因此可以直接播放B[4][8],以及后续各视频帧。
如果用户发起从视角4到视角1的视角切换,较佳的可以根据PSR按照逆时针方向从当前视角依次经由各中间视角最终切换到目标视角,即视角4→视角3→视角2→视角1,假设在播放I[4][1]时用户发起从视角4到视角1的视角切换,视角切换过程中具体的视频帧的播放依次为:
I[4][1]-->B[4][2]-->PSR[4][3]/PSPR[3][3]-->B[3][4]-->PSR[3][5]/PSPR[2][5]-->B[2][6]-->PSR[2][7]/PSPR[1][7]-->B[1][8]-->...
下面对整个视角切换过程进行简要说明:
在播放I[4][1]时用户发起从视角4到视角1的视角切换,根据用户发起的从当前视角(视角4)到目标视角(视角1)的视角切换,在视角4的视频编码码流的P[4][3]和视角切换帧PSR[4][3]并行到达时,控制播放视角4的视频编码码流的视角切换帧PSR[4][3],并从视角4切换到与视角切换帧PSR[4][3]具有相同图像的视频帧PSPR[3][3]所在的视角3;需要说明的是,如果用户没有发起从视角4到视角1的视角切换,在播放视角4的视频编码码流的过程中,在P[4][3]和视角切换帧PSR[4][3]并行到达时,控制播放P[4][3],并丢弃视角切换帧PSR[4][3];
由于PSR[4][3]与PSPR[3][3]具有相同图像,从视角4切换到视角3之后,无需解码PSPR[3][3],后续需要依赖PSPR[3][3]进行解码的视频帧可以直接根据PSR[4][3]的图像数据进行解码并显示,因此可以直接播放B[3][4],在视角3的视频编码码流的P[3][5]和视角切换帧PSR[3][5]并行到达时,控制播放视角3的视频编码码流的视角切换帧PSR[3][5],并从视角3切换到与视角切换帧PSR[3][5]具有相同图像的视频帧PSPR[2][5]所在的视角2;
同理,由于PSR[3][5]与PSPR[2][5]具有相同图像,从视角3切换到视角2之后,无需解码PSPR[2][5],后续需要依赖PSPR[2][5]进行解码的视频帧可以直接根据PSR[3][5]的图像数据进行解码并显示,因此可以直接播放B[2][6],在视角2的视频编码码流的P[2][7]和视角切换帧PSR[2][7]并行到达时,控制播放视角2的视频编码码流的视角切换帧PSR[2][7],并从视角2切换到与视角切换帧PSR[2][7]具有相同图像的视频帧PSPR[1][7]所在的视角1;
至此已经完成了从视角4到视角1的切换,由于PSR[2][7]与PSPR[1][7]具有相同图像,从视角2切换到视角1之后,无需解码PSPR[1][7],后续需要依赖PSPR[1][7]进行解码的视频帧可以直接根据PSR[2][7]的图像进行解码并显示,因此可以直接播放B[1][8],以及后续各视频帧。
基于同一技术构思,本发明实施例提供了一种多视点视频的视角切换装置,如图7所示,包括触发单元701和切换单元702,其中:
触发单元701,用于在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,触发切换单元701,其中每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,其中视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
切换单元702,用于在触发单元701的触发下,从当前视角依次经由各中间视角最终切换到目标视角,针对其中任意两个相邻第一视角和第二视角之间的视角切换,在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。
本发明实施例提供的多视点视频的视角切换方法和装置,在多视点视频编码码流的改进型帧结构基础上,根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,针对其中任意两个相邻视角之间的视角切换,在第一视角的视频编码码流的特定视频帧和视角切换帧并行到达时,控制播放视角切换帧,并从第一视角切换到视角切换帧对应的第二视角。由于第一视角的视角切换帧与第二视角中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,因此可以实现该两个相邻视角之间的视角平滑切换,从当前视角到目标视角的任意两个相邻视角之间均可实现视角平滑切换,使得任意两个视角之间的平滑切换得以实现,还可以选择切换路径的方向;
本方案在现有帧结构的基础上增加少量视角切换帧即可实现,对带宽的需求较小,随着切换角度的增加系统负荷不受影响;
本方案中每一个视角的视频编码码流可以独立解码,各视角之间的相关性较小,只需对现有编解码设备作小幅改动即可实现,复杂度较低,易于实现。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种多视点视频的视角切换方法,其特征在于,每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像,在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,从当前视角依次经由各中间视角最终切换到目标视角,其中任意两个相邻第一视角和第二视角之间的视角切换,包括:
在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。
2.如权利要求1所述的方法,其特征在于,所述视角切换帧包括:顺时针方向切换帧,所述顺时针方向切换帧与本视角的顺时针方向下一相邻视角的视频编码码流中与该顺时针方向切换帧处于相同时间位置上的视频帧具有相同图像;和/或,逆时针方向切换帧,所述逆时针方向切换帧与本视角的逆时针方向下一相邻视角的视频编码码流中与该逆时针方向切换帧处于相同时间位置上的视频帧具有相同图像。
3.如权利要求2所述的方法,其特征在于,
如果所述视角切换帧为顺时针方向切换帧,根据顺时针方向切换帧按照顺时针方向从当前视角依次经由各中间视角最终切换到目标视角;
如果所述视角切换帧为逆时针方向切换帧,根据逆时针方向切换帧按照逆时针方向从当前视角依次经由各中间视角最终切换到目标视角;
如果所述视角切换帧包括顺时针方向切换帧和逆时针方向切换帧,根据顺时针方向切换帧按照顺时针方向从当前视角依次经由各中间视角最终切换到目标视角,或者根据逆时针方向切换帧按照逆时针方向从当前视角依次经由各中间视角最终切换到目标视角。
4.如权利要求1、2或3所述的方法,其特征在于,所述视角切换帧的类型为P帧。
5.如权利要求4所述的方法,其特征在于,所述视角切换帧由P帧部分和残差部分组成,所述P帧部分是以本视角的视频编码码流中特定视频帧作为参考帧,进行帧间预测编码得到的;所述残差部分是对所述P帧部分与本视角的下一相邻视角的视频编码码流中与该特定视频帧处于相同时间位置上的视频帧之间的差值进行无损压缩编码得到的。
6.如权利要求1所述的方法,其特征在于,还包括:
如果在多视点视频的播放过程中用户没有发起视角切换,在当前视角的视频编码码流的特定视频帧到达时,控制播放当前视角的视频编码码流的特定视频帧,并丢弃当与该特定视频帧并行到达的视角切换帧。
7.一种多视点视频的视角切换装置,其特征在于,包括触发单元和切换单元,其中:
所述触发单元,用于在多视点视频的播放过程中根据用户发起的从当前视角到目标视角的视角切换,触发所述切换单元,其中每一个视角的视频编码码流中包含与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
所述切换单元,用于在所述触发单元的触发下,从当前视角依次经由各中间视角最终切换到目标视角,针对其中任意两个相邻第一视角和第二视角之间的视角切换,在第一视角的视频编码码流的视角切换帧到达时,控制播放第一视角的视频编码码流的视角切换帧,并从第一视角切换到与本视角的视角切换帧具有相同图像的视频帧所在的第二视角。
8.一种多视点视频的编码方法,其特征在于,包括:
对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;并
在每一个视角的视频编码码流中插入与特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像。
9.如权利要求8所述的方法,其特征在于,所述视角切换帧的类型为P帧。
10.如权利要求9所述的方法,其特征在于,视角切换帧的编码方法,具体包括:
以本视角的视频编码码流中特定视频帧作为参考帧,进行帧间预测编码得到P帧部分;
对所述P帧部分与本视角的下一相邻视角的视频编码码流中与该特定视频帧处于相同时间位置上的视频帧之间的差值进行无损压缩编码得到残差部分;
将所述P帧部分和残差部分组成视角切换帧。
11.一种多视点视频的编码装置,其特征在于,包括:
第一编码单元,用于对每一个视角的视频流分别进行编码,得到每一个视角的视频编码码流;
第二编码单元,用于编码得到与每一个视角的视频编码码流中特定视频帧并行传输的视角切换帧,所述视角切换帧与本视角的下一相邻视角的视频编码码流中与该视角切换帧处于相同时间位置上的视频帧具有相同图像;
插入单元,用于在每一个视角的视频编码码流中插入所述第二编码单元编码得到的视角切换帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910236741 CN102055967B (zh) | 2009-10-28 | 2009-10-28 | 多视点视频的视角切换以及编码方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200910236741 CN102055967B (zh) | 2009-10-28 | 2009-10-28 | 多视点视频的视角切换以及编码方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102055967A true CN102055967A (zh) | 2011-05-11 |
CN102055967B CN102055967B (zh) | 2012-07-04 |
Family
ID=43959836
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200910236741 Active CN102055967B (zh) | 2009-10-28 | 2009-10-28 | 多视点视频的视角切换以及编码方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102055967B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104838657A (zh) * | 2012-12-07 | 2015-08-12 | 高通股份有限公司 | 可缩放及多视角视频译码中的高级残差预测 |
WO2017008620A1 (en) * | 2015-07-10 | 2017-01-19 | Huawei Technologies Co., Ltd. | Multi-view video streaming with fast and smooth view switch |
CN106888169A (zh) * | 2017-01-06 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 视频播放方法及装置 |
CN107005658A (zh) * | 2014-12-12 | 2017-08-01 | 华为技术有限公司 | 实现交互特效的系统和方法 |
WO2018072488A1 (zh) * | 2016-10-18 | 2018-04-26 | 华为技术有限公司 | 一种数据处理方法、相关设备及系统 |
CN107979732A (zh) * | 2016-10-25 | 2018-05-01 | 北京优朋普乐科技有限公司 | 一种多视角视频播放的方法及装置 |
CN109218836A (zh) * | 2017-06-30 | 2019-01-15 | 华为技术有限公司 | 一种视频处理方法及其设备 |
CN111372145A (zh) * | 2020-04-15 | 2020-07-03 | 烽火通信科技股份有限公司 | 一种多视点视频的视点切换方法和系统 |
WO2020228482A1 (zh) * | 2019-05-13 | 2020-11-19 | 华为技术有限公司 | 视频处理方法、装置及系统 |
CN113271464A (zh) * | 2021-05-11 | 2021-08-17 | 北京奇艺世纪科技有限公司 | 视频编码方法、解码方法及相关装置 |
CN113891019A (zh) * | 2021-09-24 | 2022-01-04 | 深圳Tcl新技术有限公司 | 视频编码方法、装置、拍摄设备和存储介质 |
CN114125554A (zh) * | 2020-08-25 | 2022-03-01 | 华为技术有限公司 | 一种编解码方法、装置及系统 |
WO2023035879A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字节跳动网络技术有限公司 | 自由视角视频的视角切换方法、装置、系统、设备和介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100438632C (zh) * | 2006-06-23 | 2008-11-26 | 清华大学 | 一种交互式多视点视频的编码方法 |
CN101179719B (zh) * | 2006-11-10 | 2011-01-19 | 中兴通讯股份有限公司 | 视频序列的快速切换方法 |
CN100471278C (zh) * | 2007-04-06 | 2009-03-18 | 清华大学 | 一种基于分布式信源编码的多视点视频压缩编解码方法 |
-
2009
- 2009-10-28 CN CN 200910236741 patent/CN102055967B/zh active Active
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9948939B2 (en) | 2012-12-07 | 2018-04-17 | Qualcomm Incorporated | Advanced residual prediction in scalable and multi-view video coding |
CN104838657A (zh) * | 2012-12-07 | 2015-08-12 | 高通股份有限公司 | 可缩放及多视角视频译码中的高级残差预测 |
US10334259B2 (en) | 2012-12-07 | 2019-06-25 | Qualcomm Incorporated | Advanced residual prediction in scalable and multi-view video coding |
CN107005658A (zh) * | 2014-12-12 | 2017-08-01 | 华为技术有限公司 | 实现交互特效的系统和方法 |
EP3178223A4 (en) * | 2014-12-12 | 2017-08-09 | Huawei Technologies Co., Ltd. | Systems and methods to achieve interactive special effects |
CN107615756B (zh) * | 2015-07-10 | 2020-04-21 | 华为技术有限公司 | 一种用于实现快速平滑视点切换的视频服务器、方法及视频系统 |
CN107615756A (zh) * | 2015-07-10 | 2018-01-19 | 华为技术有限公司 | 实现快速平滑视点切换的多视点视频流媒体 |
US9848212B2 (en) | 2015-07-10 | 2017-12-19 | Futurewei Technologies, Inc. | Multi-view video streaming with fast and smooth view switch |
WO2017008620A1 (en) * | 2015-07-10 | 2017-01-19 | Huawei Technologies Co., Ltd. | Multi-view video streaming with fast and smooth view switch |
WO2018072488A1 (zh) * | 2016-10-18 | 2018-04-26 | 华为技术有限公司 | 一种数据处理方法、相关设备及系统 |
CN107979732A (zh) * | 2016-10-25 | 2018-05-01 | 北京优朋普乐科技有限公司 | 一种多视角视频播放的方法及装置 |
CN106888169A (zh) * | 2017-01-06 | 2017-06-23 | 腾讯科技(深圳)有限公司 | 视频播放方法及装置 |
CN109218836A (zh) * | 2017-06-30 | 2019-01-15 | 华为技术有限公司 | 一种视频处理方法及其设备 |
CN109218836B (zh) * | 2017-06-30 | 2021-02-26 | 华为技术有限公司 | 一种视频处理方法及其设备 |
WO2020228482A1 (zh) * | 2019-05-13 | 2020-11-19 | 华为技术有限公司 | 视频处理方法、装置及系统 |
CN111372145A (zh) * | 2020-04-15 | 2020-07-03 | 烽火通信科技股份有限公司 | 一种多视点视频的视点切换方法和系统 |
CN111372145B (zh) * | 2020-04-15 | 2021-07-27 | 烽火通信科技股份有限公司 | 一种多视点视频的视点切换方法和系统 |
CN114125554A (zh) * | 2020-08-25 | 2022-03-01 | 华为技术有限公司 | 一种编解码方法、装置及系统 |
WO2022042281A1 (zh) * | 2020-08-25 | 2022-03-03 | 华为技术有限公司 | 一种编解码方法、装置及系统 |
CN114125554B (zh) * | 2020-08-25 | 2023-03-10 | 华为技术有限公司 | 一种编解码方法、装置及系统 |
CN113271464A (zh) * | 2021-05-11 | 2021-08-17 | 北京奇艺世纪科技有限公司 | 视频编码方法、解码方法及相关装置 |
CN113271464B (zh) * | 2021-05-11 | 2022-11-18 | 北京奇艺世纪科技有限公司 | 视频编码方法、解码方法及相关装置 |
WO2023035879A1 (zh) * | 2021-09-09 | 2023-03-16 | 北京字节跳动网络技术有限公司 | 自由视角视频的视角切换方法、装置、系统、设备和介质 |
CN113891019A (zh) * | 2021-09-24 | 2022-01-04 | 深圳Tcl新技术有限公司 | 视频编码方法、装置、拍摄设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN102055967B (zh) | 2012-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102055967B (zh) | 多视点视频的视角切换以及编码方法和装置 | |
KR101132351B1 (ko) | Dsl 시스템에 대해 고속으로 채널 변경할 수 있게 하는 방법 및 장치 | |
KR101178811B1 (ko) | 중복된 비디오 스트림을 사용하여 dsl을 통한 디지털 비디오 방송 시스템에서의 고속 채널 변경 방법 및 장치 | |
US6081551A (en) | Image coding and decoding apparatus and methods thereof | |
CN101669370B (zh) | 具有下采样参考图片的视角间预测 | |
KR101739821B1 (ko) | 스케일러블 비디오 코딩(svc)디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법 | |
EP2291957B1 (en) | Media stream processing | |
CN102217272A (zh) | 产生数据流的编码器和方法 | |
CN101175213A (zh) | 视频编码 | |
WO2006075844A1 (en) | Reference frame ordering for multi-view coding | |
US20090003455A1 (en) | Method and apparatus for illumination compensation in multi-view video coding | |
KR20170141813A (ko) | 화상 부호화 장치 및 화상 복호 장치 | |
KR20000023279A (ko) | 비디오 압축을 위한 영역 기반 리프레시 방법 | |
JP2010512082A (ja) | デジタル画像シーケンスのビデオコーディング方法 | |
CN112333448A (zh) | 视频编码、解码方法和装置、电子设备和存储介质 | |
KR20140098046A (ko) | 참조 블록 파형 정보에 기반하여 인트라 영상을 부호화 하는 장치 및 복호화 하는 장치 | |
JP5502798B2 (ja) | チャネル交換フレーム | |
CN101690219A (zh) | 用于快速信道切换的早期呈现 | |
KR101396948B1 (ko) | 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치 | |
KR101433168B1 (ko) | 하이브리드 다시점 및 계층화 비디오 코딩 방법과 장치 | |
CN101909063B (zh) | 基于分层编码的视频流推送方法和系统 | |
US20160065967A1 (en) | Independent temporally concurrent video stream coding | |
CN101647286B (zh) | 视频信号的多描述编码和传送 | |
CN112351284A (zh) | 视频编码、解码方法和装置、电子设备和存储介质 | |
US20050100098A1 (en) | Highly integrated mpeg-4 video decoding unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |