CN109246477A - 一种全景视频插帧方法及装置 - Google Patents
一种全景视频插帧方法及装置 Download PDFInfo
- Publication number
- CN109246477A CN109246477A CN201810938622.7A CN201810938622A CN109246477A CN 109246477 A CN109246477 A CN 109246477A CN 201810938622 A CN201810938622 A CN 201810938622A CN 109246477 A CN109246477 A CN 109246477A
- Authority
- CN
- China
- Prior art keywords
- longitude
- latitude
- panorama
- panoramic
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Abstract
本发明公开了一种全景视频插帧方法及装置,该方法包括:加载全景视频,并解码得到全景经纬度图像序列;将全景经纬度图像投影到球面上;根据球面全景360度空间全记录的特性,将球面全景重新展开为全景经纬度图像时,分别在经纬度图像的两侧扩展补充一定经度大小的图像,得到扩展全景经纬度图像;取相邻两张扩展全景经纬度图像逐点计算两帧图像之间的位移场;根据插入帧数和位移场,变换相邻两帧扩展全景经纬度图像并进行融合,得到新插入的图像帧;将原始图像帧和新插入的图像帧统一编码,得到帧率较高的全景视频。本发明能有效解决由于帧率限制,全景相机拍摄运动物体或高速运动的物体后播放时存在运动不连续的问题,同时实现慢动作播放的连续性。
Description
技术领域
本发明涉及一种全景视频插帧方法及装置,属于图像处理技术领域。
背景技术
全景相机可以拍摄360度大空间视频,并以独特的播放方式,如水晶球、小行星等模式进行展示,或以VR模式配合头显设备进行观看,带来有别于普通视频的观看体验,因而得到越来越多的关注和应用。相比于普通视频,全景视频由于展示的是360度的图像,因而同等分辨率下像素密度更低,带给人不清晰的视觉感受。因此为了获得较为清晰的全景视频,图像分辨率越高越好。由于视频传输带宽和软硬件编解码能力的限制,需平衡单帧图像分辨率和视频帧率。理论上,视频帧率达到24fps时,由于视觉暂留效应可观看到流畅的视频,因而只要满足这个帧率要求即可尽可能地提高单帧图像的分辨率。但是,当画面中存在运动的物体,或是拍摄高速运动的物体时,常规帧率下物体可能会出现运动不连续或卡顿的现象,慢速播放时,卡顿的现象则更为明显。
发明内容
为了解决上述存在的问题,本发明公开了一种全景视频插帧方法及装置,用于解决由于帧率限制,全景相机拍摄运动物体或是高速运动的物体后播放时存在运动不连续的问题,同时可实现慢动作播放的连续性。其具体技术方案如下:
一种全景视频插帧方法,包括以下操作步骤:
步骤1:加载全景视频,并解码得到全景经纬度图像序列;
步骤2:将全景经纬度图像投影到球面上;
步骤3:获取扩展全景经纬度图像;
步骤4:取相邻两幅扩展全景经纬度图像逐点计算位移值;
步骤5:根据插入帧数和位移值,变换相邻两组扩展全景经纬度图并进行融合,得到新插入的图像帧;
步骤6:将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。
所述步骤2中所述的球面所在球体的经度角度值的范围为-180°—180°,球体的纬度角度值的范围为-90°—90°,经度:纬度为2:1,全景图像的宽:高也需满足2:1的要求,若全景经纬度图像的宽:高不满足2:1,则进行重采样,直到满足2:1的要求,然后将全景经纬度图像投影到球面上。
所述步骤3的具体步骤为:将球面以一条半圆弧线作为分割线展开,得到宽高比为2:1的全景图,
当画面中存在运动物体时,会出现运动物体被分割展开的情况,那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况,因此,结合全景图像360度记录的特性,展开时,全景图像沿分割线左右对称的两条半圆弧线处展开,得到扩展全景经纬度图,扩展补充部分图像的宽度与原全景图的经度对应,扩展全景经纬度图的高度与原全景图的高度一致。
一种全景视频插帧装置,包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块,
所述全景视频解码模块,用于将全景视频解码得到全景经纬度图像序列;
所述球面投影模块,用于将全景经纬度图像投影到球面上;
所述扩展全景经纬度图像生成模块,用于将球面全景展开为经纬度全景图时,在经纬度全景图的左右两侧补充经度大小对应的图像,以确保运动物体不会被分割开来;
所述位移场计算模块,用于计算相邻两帧扩展全景经纬度图像之间的位移值;
所述变换融合模块,用于根据位移值和插入帧数,对相邻两帧扩展全景经纬度图像进行变换并融合,生成新插入的扩展全景图像帧。根据原始图像帧在扩展图像帧中的位置,截取出最终的与原图像一样大小的插入全景图像帧;
所述压缩编码模块,用于将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。
本发明的有益效果是:
本发明能有效解决由于帧率限制,全景相机拍摄运动物体或是高速运动的物体后播放时存在运动不连续的问题,同时可实现慢动作播放的连续性。
附图说明
图1是本发明方法的流程图,
图2是全景球面投影图,
图3是运动物体在相邻两帧全景经纬度图中的位置示意图,
其中,图3(a)表示T帧在全景经纬度图中的位置示意图,
图3(b)表示T+1帧在全景经纬度图中的位置示意图,
图4是运动物体在相邻两帧扩展全景经纬度图中的位置示意图,
其中,图4(a)表示T帧在扩展全景经纬度图中的位置示意图,
图4(b)表示T+1帧在扩展全景经纬度图中的位置示意图,
图5是本发明全景视频插帧装置的模块连接示意图。
具体实施方式
下面结合附图和具体实施方式,进一步阐明本发明。应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
图1是本发明的结构示意图,结合附图可见,本全景视频插帧方法,包括以下操作步骤:
步骤1:加载全景视频,并解码得到全景经纬度图像序列;加载全景视频可以通过电脑端、云端或者嵌入式端都可以。
步骤2:将全景经纬度图像投影到球面上;
球体经度角度值在-180:180度范围,球体纬度角度值在-90:90度范围,经纬度满足2:1的关系,因此,全景图像的宽和高也需满足2:1的要求。若全景经纬度图像的宽和高不满足这个比例,需进行重采样以达到这个要求,然后将全景经纬度图像投影到球面上,如图2所示。
步骤3:获取扩展全景经纬度图像;
全景球面投影图如图2所示,球面展开时,一般以圆弧ABC为分割线展开得到宽高比为2:1的全景图。但是,当画面中存在运动物体时,会出现运动物体被分割展开的情况,如图3所示。那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况。因此,结合全景图像可以360度记录的特性,展开时,全景图像的右侧从圆弧AB1C处展开,全景图像的左侧从圆弧AB2C处展开,得到如图4所示的扩展全景经纬度图,扩展补充部分图像的宽度与图2中的经度θ对应,扩展全景经纬度图的高度与原全景图的高度一致。
步骤4:取相邻两幅扩展全景经纬度图像逐点计算位移值;
如图3所示,T表示时间,假设第T帧中存在运动物体Arc11和Arc21,根据S103生成第T帧和T+1帧的扩展全景经纬度图像,第T+1帧的运动物体变为Arc12和Arc22。根据相邻两帧图像的相似性,逐点计算相邻两帧图像的位移值。在原全景经纬度图中,Arc11和Arc12的运动未超出图像范围, Arc11和Arc12可以被正确的匹配到。而第T+1帧中Arc22被分割到图像的左侧,但在扩展全景图像中,第T帧在图像的左侧补充了Arc21的特征,因此 Arc21和Arc22也可以被正确的匹配到。至此整个全景图像的位移场可以正确计算出来。
步骤5:根据插入帧数和位移值,变换相邻两组扩展全景经纬度图并进行融合,得到新插入的图像帧;
帧数是本发明方法的输入参数,即可以根据需要设置的,假设插入帧数为N,相邻两帧扩展全景经纬度图像的位移场为d,则为生成第i(1<=i<=N)帧插入图像,第T帧扩展全景图像的变换位移场为1/(N+1)*i*d,第T+1帧扩展全景图像的变换位移场为-(1-1/(N+1)*i)*d,根据相邻两帧图像的变换位移场,生成新位置的扩展全景经纬度图并融合,得到第i帧插入帧的扩展全景经纬度图,截取原全景图位置和宽度的图像,得到最终满足宽高2:1的全景经纬度图。
步骤6:将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。统一编码就是将按时间序列,将原始帧和新插入帧排好序,然后按照一定的编码模式进行编码压缩,利于后期的视频传输。
一种全景视频插帧装置,包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块,
所述全景视频解码模块,用于将全景视频解码得到全景经纬度图像序列;
所述球面投影模块,用于将全景经纬度图像投影到球面上;
所述扩展全景经纬度图像生成模块,用于将球面全景展开为经纬度全景图时,在经纬度全景图的左右两侧补充经度大小对应的图像,以确保运动物体不会被分割开来;
所述位移场计算模块,用于计算相邻两帧扩展全景经纬度图像之间的位移值;
所述变换融合模块,用于根据位移值和插入帧数,对相邻两帧扩展全景经纬度图像进行变换并融合,生成新插入的扩展全景图像帧。根据原始图像帧在扩展图像帧中的位置,截取出最终的与原图像一样大小的插入全景图像帧;
所述压缩编码模块,用于将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。
本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段,还包括由以上技术特征任意组合所组成的技术方案。
以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。
Claims (4)
1.一种全景视频插帧方法,其特征在于包括以下操作步骤:
步骤1:加载全景视频,并解码得到全景经纬度图像序列;
步骤2:将全景经纬度图像投影到球面上;
步骤3:获取扩展全景经纬度图像;
步骤4:取相邻两幅扩展全景经纬度图像逐点计算位移值;
步骤5:根据插入帧数和位移值,变换相邻两组扩展全景经纬度图并进行融合,得到新插入的图像帧;
步骤6:将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。
2.根据权利要求1所述的一种全景视频插帧方法,其特征在于所述步骤2中所述的球面所在球体的经度角度值的范围为-180°—180°,球体的纬度角度值的范围为-90°—90°,经度:纬度为2:1,全景图像的宽:高也需满足2:1的要求,若全景经纬度图像的宽:高不满足2:1,则进行重采样,直到满足2:1的要求,然后将全景经纬度图像投影到球面上。
3.根据权利要求1所述的一种全景视频插帧方法,其特征在于所述步骤3的具体步骤为:将球面以一条半圆弧线作为分割线展开,得到宽高比为2:1的全景图,
当画面中存在运动物体时,会出现运动物体被分割展开的情况,那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况,因此,结合全景图像360度记录的特性,展开时,全景图像沿分割线左右对称的两条半圆弧线处展开,得到扩展全景经纬度图,扩展补充部分图像的宽度与原全景图的经度对应,扩展全景经纬度图的高度与原全景图的高度一致。
4.一种全景视频插帧装置,其特征在于包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块,
所述全景视频解码模块,用于将全景视频解码得到全景经纬度图像序列;
所述球面投影模块,用于将全景经纬度图像投影到球面上;
所述扩展全景经纬度图像生成模块,用于将球面全景展开为经纬度全景图时,在经纬度全景图的左右两侧补充经度大小对应的图像,以确保运动物体不会被分割开来;
所述位移场计算模块,用于计算相邻两帧扩展全景经纬度图像之间的位移值;
所述变换融合模块,用于根据位移值和插入帧数,对相邻两帧扩展全景经纬度图像进行变换并融合,生成新插入的扩展全景图像帧,根据原始图像帧在扩展图像帧中的位置,截取出最终的与原图像一样大小的插入全景图像帧;
所述压缩编码模块,用于将原始图像帧和新插入图像帧统一编码,获得高帧率的全景视频。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810938622.7A CN109246477B (zh) | 2018-08-17 | 2018-08-17 | 一种全景视频插帧方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810938622.7A CN109246477B (zh) | 2018-08-17 | 2018-08-17 | 一种全景视频插帧方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109246477A true CN109246477A (zh) | 2019-01-18 |
CN109246477B CN109246477B (zh) | 2021-04-27 |
Family
ID=65071433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810938622.7A Active CN109246477B (zh) | 2018-08-17 | 2018-08-17 | 一种全景视频插帧方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109246477B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179165A (zh) * | 2019-11-29 | 2020-05-19 | 南京泓众电子科技有限公司 | 一种全景图像生成方法及装置 |
CN112351287A (zh) * | 2020-09-30 | 2021-02-09 | 深圳市为汉科技有限公司 | 一种多媒体数据处理方法及其相关产品 |
WO2023040932A1 (zh) * | 2021-09-17 | 2023-03-23 | 影石创新科技股份有限公司 | 全景视频插帧方法、装置及计算机可读存储介质 |
CN116760965A (zh) * | 2023-08-14 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 全景视频编码方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105898138A (zh) * | 2015-12-18 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 全景视频播放方法及装置 |
CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
CN106612440A (zh) * | 2015-10-26 | 2017-05-03 | 展讯通信(上海)有限公司 | 图像生成方法及装置 |
WO2017142353A1 (ko) * | 2016-02-17 | 2017-08-24 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
CN108012153A (zh) * | 2016-10-17 | 2018-05-08 | 联发科技股份有限公司 | 一种编解码方法及装置 |
US20180218484A1 (en) * | 2017-02-02 | 2018-08-02 | OrbViu Inc. | Method and system for reconstructing 360-degree video |
-
2018
- 2018-08-17 CN CN201810938622.7A patent/CN109246477B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106612440A (zh) * | 2015-10-26 | 2017-05-03 | 展讯通信(上海)有限公司 | 图像生成方法及装置 |
CN105898138A (zh) * | 2015-12-18 | 2016-08-24 | 乐视致新电子科技(天津)有限公司 | 全景视频播放方法及装置 |
WO2017142353A1 (ko) * | 2016-02-17 | 2017-08-24 | 엘지전자 주식회사 | 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치 |
CN106331723A (zh) * | 2016-08-18 | 2017-01-11 | 上海交通大学 | 一种基于运动区域分割的视频帧率上变换方法及系统 |
CN108012153A (zh) * | 2016-10-17 | 2018-05-08 | 联发科技股份有限公司 | 一种编解码方法及装置 |
US20180218484A1 (en) * | 2017-02-02 | 2018-08-02 | OrbViu Inc. | Method and system for reconstructing 360-degree video |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111179165A (zh) * | 2019-11-29 | 2020-05-19 | 南京泓众电子科技有限公司 | 一种全景图像生成方法及装置 |
CN112351287A (zh) * | 2020-09-30 | 2021-02-09 | 深圳市为汉科技有限公司 | 一种多媒体数据处理方法及其相关产品 |
CN112351287B (zh) * | 2020-09-30 | 2022-10-14 | 深圳市为汉科技有限公司 | 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质 |
WO2023040932A1 (zh) * | 2021-09-17 | 2023-03-23 | 影石创新科技股份有限公司 | 全景视频插帧方法、装置及计算机可读存储介质 |
CN116760965A (zh) * | 2023-08-14 | 2023-09-15 | 腾讯科技(深圳)有限公司 | 全景视频编码方法、装置、计算机设备和存储介质 |
CN116760965B (zh) * | 2023-08-14 | 2023-12-22 | 腾讯科技(深圳)有限公司 | 全景视频编码方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109246477B (zh) | 2021-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109246477A (zh) | 一种全景视频插帧方法及装置 | |
WO2021083176A1 (zh) | 数据交互方法及系统、交互终端、可读存储介质 | |
Uyttendaele et al. | Image-based interactive exploration of real-world environments | |
US20080253685A1 (en) | Image and video stitching and viewing method and system | |
JP7045856B2 (ja) | 独立符号化バックグラウンド更新に基づく映像伝送 | |
WO2021083178A1 (zh) | 数据处理方法及系统、服务器和存储介质 | |
KR102067694B1 (ko) | 파노라마 픽처 처리 | |
US20220319103A1 (en) | Lightweight View Dependent Rendering System for Mobile Devices | |
CN102256061B (zh) | 一种二维三维混合的视频稳定方法 | |
CN107426491B (zh) | 一种360度全景视频的实现方法 | |
KR102308604B1 (ko) | 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림 | |
CN111669567B (zh) | 多角度自由视角视频数据生成方法及装置、介质、服务器 | |
WO2021083174A1 (zh) | 虚拟视点图像生成方法、系统、电子设备及存储介质 | |
CN111667438B (zh) | 视频重建方法、系统、设备及计算机可读存储介质 | |
CN111669561B (zh) | 多角度自由视角图像数据处理方法及装置、介质、设备 | |
CN111669564A (zh) | 图像重建方法、系统、设备及计算机可读存储介质 | |
Tang et al. | A universal optical flow based real-time low-latency omnidirectional stereo video system | |
CN114007059A (zh) | 视频压缩方法、解压方法、装置、电子设备及存储介质 | |
US20130044258A1 (en) | Method for presenting video content on a hand-held electronic device | |
Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
EP2656310B1 (en) | Method for producing a panoramic image and implementation apparatus | |
Tan et al. | Stable stitching method for stereoscopic panoramic video | |
Eisert et al. | Volumetric video–acquisition, interaction, streaming and rendering | |
CN111669570B (zh) | 多角度自由视角视频数据处理方法及装置、介质、设备 | |
CN107835433B (zh) | 一种赛事宽视角直播系统、相关联的设备和直播方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |