CN109246477B - 一种全景视频插帧方法及装置 - Google Patents

一种全景视频插帧方法及装置 Download PDF

Info

Publication number
CN109246477B
CN109246477B CN201810938622.7A CN201810938622A CN109246477B CN 109246477 B CN109246477 B CN 109246477B CN 201810938622 A CN201810938622 A CN 201810938622A CN 109246477 B CN109246477 B CN 109246477B
Authority
CN
China
Prior art keywords
panoramic
longitude
latitude
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810938622.7A
Other languages
English (en)
Other versions
CN109246477A (zh
Inventor
沈峘
张佩泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hongzhong Electronic Technology Co ltd
Original Assignee
Nanjing Hongzhong Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hongzhong Electronic Technology Co ltd filed Critical Nanjing Hongzhong Electronic Technology Co ltd
Priority to CN201810938622.7A priority Critical patent/CN109246477B/zh
Publication of CN109246477A publication Critical patent/CN109246477A/zh
Application granted granted Critical
Publication of CN109246477B publication Critical patent/CN109246477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Abstract

本发明公开了一种全景视频插帧方法及装置，该方法包括：加载全景视频，并解码得到全景经纬度图像序列；将全景经纬度图像投影到球面上；根据球面全景360度空间全记录的特性，将球面全景重新展开为全景经纬度图像时，分别在经纬度图像的两侧扩展补充一定经度大小的图像，得到扩展全景经纬度图像；取相邻两张扩展全景经纬度图像逐点计算两帧图像之间的位移场；根据插入帧数和位移场，变换相邻两帧扩展全景经纬度图像并进行融合，得到新插入的图像帧；将原始图像帧和新插入的图像帧统一编码，得到帧率较高的全景视频。本发明能有效解决由于帧率限制，全景相机拍摄运动物体或高速运动的物体后播放时存在运动不连续的问题，同时实现慢动作播放的连续性。

Description

一种全景视频插帧方法及装置
技术领域
本发明涉及一种全景视频插帧方法及装置，属于图像处理技术领域。
背景技术
全景相机可以拍摄360度大空间视频，并以独特的播放方式，如水晶球、小行星等模式进行展示，或以VR模式配合头显设备进行观看，带来有别于普通视频的观看体验，因而得到越来越多的关注和应用。相比于普通视频，全景视频由于展示的是360度的图像，因而同等分辨率下像素密度更低，带给人不清晰的视觉感受。因此为了获得较为清晰的全景视频，图像分辨率越高越好。由于视频传输带宽和软硬件编解码能力的限制，需平衡单帧图像分辨率和视频帧率。理论上，视频帧率达到24fps时，由于视觉暂留效应可观看到流畅的视频，因而只要满足这个帧率要求即可尽可能地提高单帧图像的分辨率。但是，当画面中存在运动的物体，或是拍摄高速运动的物体时，常规帧率下物体可能会出现运动不连续或卡顿的现象，慢速播放时，卡顿的现象则更为明显。
发明内容
为了解决上述存在的问题，本发明公开了一种全景视频插帧方法及装置，用于解决由于帧率限制，全景相机拍摄运动物体或是高速运动的物体后播放时存在运动不连续的问题，同时可实现慢动作播放的连续性。其具体技术方案如下：
一种全景视频插帧方法，包括以下操作步骤：
步骤1：加载全景视频，并解码得到全景经纬度图像序列；
步骤2：将全景经纬度图像投影到球面上；
步骤3：获取扩展全景经纬度图像；
步骤4：取相邻两幅扩展全景经纬度图像逐点计算位移值；
步骤5：根据插入帧数和位移值，变换相邻两组扩展全景经纬度图并进行融合，得到新插入的图像帧；
步骤6：将原始图像帧和新插入图像帧统一编码，获得高帧率的全景视频。
所述步骤2中所述的球面所在球体的经度角度值的范围为-180°—180°，球体的纬度角度值的范围为-90°—90°，经度：纬度为2：1，全景图像的宽：高也需满足2：1的要求，若全景经纬度图像的宽：高不满足2：1，则进行重采样，直到满足2：1的要求，然后将全景经纬度图像投影到球面上。
所述步骤3的具体步骤为：将球面以一条半圆弧线作为分割线展开，得到宽高比为2：1的全景图，
当画面中存在运动物体时，会出现运动物体被分割展开的情况，那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况，因此，结合全景图像360度记录的特性，展开时，全景图像沿分割线左右对称的两条半圆弧线处展开，得到扩展全景经纬度图，扩展补充部分图像的宽度与原全景图的经度对应，扩展全景经纬度图的高度与原全景图的高度一致。
一种全景视频插帧装置，包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块，
所述全景视频解码模块，用于将全景视频解码得到全景经纬度图像序列；
所述球面投影模块，用于将全景经纬度图像投影到球面上；
所述扩展全景经纬度图像生成模块，用于将球面全景展开为经纬度全景图时，在经纬度全景图的左右两侧补充经度大小对应的图像，以确保运动物体不会被分割开来；
所述位移场计算模块，用于计算相邻两帧扩展全景经纬度图像之间的位移值；
所述变换融合模块，用于根据位移值和插入帧数，对相邻两帧扩展全景经纬度图像进行变换并融合，生成新插入的扩展全景图像帧。根据原始图像帧在扩展图像帧中的位置，截取出最终的与原图像一样大小的插入全景图像帧；
所述压缩编码模块，用于将原始图像帧和新插入图像帧统一编码，获得高帧率的全景视频。
本发明的有益效果是：
本发明能有效解决由于帧率限制，全景相机拍摄运动物体或是高速运动的物体后播放时存在运动不连续的问题，同时可实现慢动作播放的连续性。
附图说明
图1是本发明方法的流程图，
图2是全景球面投影图，
图3是运动物体在相邻两帧全景经纬度图中的位置示意图，
其中，图3（a）表示T帧在全景经纬度图中的位置示意图，
图3（b）表示T+1帧在全景经纬度图中的位置示意图，
图4是运动物体在相邻两帧扩展全景经纬度图中的位置示意图，
其中，图4（a）表示T帧在扩展全景经纬度图中的位置示意图，
图4（b）表示T+1帧在扩展全景经纬度图中的位置示意图，
图5是本发明全景视频插帧装置的模块连接示意图。
具体实施方式
下面结合附图和具体实施方式，进一步阐明本发明。应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
图1是本发明的结构示意图，结合附图可见，本全景视频插帧方法，包括以下操作步骤：
步骤1：加载全景视频，并解码得到全景经纬度图像序列；加载全景视频可以通过电脑端、云端或者嵌入式端都可以。
步骤2：将全景经纬度图像投影到球面上；
球体经度角度值在-180：180度范围，球体纬度角度值在-90：90度范围，经纬度满足2：1的关系，因此，全景图像的宽和高也需满足2：1的要求。若全景经纬度图像的宽和高不满足这个比例，需进行重采样以达到这个要求，然后将全景经纬度图像投影到球面上，如图2所示。
步骤3：获取扩展全景经纬度图像；
全景球面投影图如图2所示，球面展开时，一般以圆弧ABC为分割线展开得到宽高比为2：1的全景图。但是，当画面中存在运动物体时，会出现运动物体被分割展开的情况，如图3所示。那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况。因此，结合全景图像可以360度记录的特性，展开时，全景图像的右侧从圆弧AB1C处展开，全景图像的左侧从圆弧AB2C处展开，得到如图4所示的扩展全景经纬度图，扩展补充部分图像的宽度与图2中的经度θ对应，扩展全景经纬度图的高度与原全景图的高度一致。
步骤4：取相邻两幅扩展全景经纬度图像逐点计算位移值；
如图3所示，T表示时间，假设第T帧中存在运动物体Arc11和Arc21，根据S103生成第T帧和T+1帧的扩展全景经纬度图像，第T+1帧的运动物体变为Arc12和Arc22。根据相邻两帧图像的相似性，逐点计算相邻两帧图像的位移值。在原全景经纬度图中，Arc11和Arc12的运动未超出图像范围， Arc11和Arc12可以被正确的匹配到。而第T+1帧中Arc22被分割到图像的左侧，但在扩展全景图像中，第T帧在图像的左侧补充了Arc21的特征，因此 Arc21和Arc22也可以被正确的匹配到。至此整个全景图像的位移场可以正确计算出来。
步骤5：根据插入帧数和位移值，变换相邻两组扩展全景经纬度图并进行融合，得到新插入的图像帧；
帧数是本发明方法的输入参数，即可以根据需要设置的，假设插入帧数为N，相邻两帧扩展全景经纬度图像的位移场为d，则为生成第i（1<=i<=N）帧插入图像,第T帧扩展全景图像的变换位移场为1/(N+1)*i*d,第T+1帧扩展全景图像的变换位移场为-（1-1/(N+1)*i）*d，根据相邻两帧图像的变换位移场，生成新位置的扩展全景经纬度图并融合，得到第i帧插入帧的扩展全景经纬度图，截取原全景图位置和宽度的图像，得到最终满足宽高2：1的全景经纬度图。
步骤6：将原始图像帧和新插入图像帧统一编码，获得高帧率的全景视频。统一编码就是将按时间序列，将原始帧和新插入帧排好序，然后按照一定的编码模式进行编码压缩，利于后期的视频传输。
一种全景视频插帧装置，包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块，
所述全景视频解码模块，用于将全景视频解码得到全景经纬度图像序列；
所述球面投影模块，用于将全景经纬度图像投影到球面上；
所述扩展全景经纬度图像生成模块，用于将球面全景展开为经纬度全景图时，在经纬度全景图的左右两侧补充经度大小对应的图像，以确保运动物体不会被分割开来；
所述位移场计算模块，用于计算相邻两帧扩展全景经纬度图像之间的位移值；
所述变换融合模块，用于根据位移值和插入帧数，对相邻两帧扩展全景经纬度图像进行变换并融合，生成新插入的扩展全景图像帧。根据原始图像帧在扩展图像帧中的位置，截取出最终的与原图像一样大小的插入全景图像帧；
所述压缩编码模块，用于将原始图像帧和新插入图像帧统一编码，获得高帧率的全景视频。
本发明方案所公开的技术手段不仅限于上述技术手段所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (2)

1.一种全景视频插帧方法，其特征在于，包括以下操作步骤：
步骤1：加载全景视频，并解码得到全景经纬度图像序列；
步骤2：将全景经纬度图像投影到球面上，所述的球面所在球体的经度角度值的范围为-180°—180°，球体的纬度角度值的范围为-90°—90°，经度：纬度为2：1，全景经纬度图像的宽：高也需满足2：1的要求，若全景经纬度图像的宽：高不满足2：1，则进行重采样，直到满足2：1的要求，然后将全景经纬度图像投影到球面上；
步骤3：获取扩展全景经纬度图像：将球面以一条半圆弧线作为分割线展开，得到宽高比为2：1的全景图，当画面中存在运动物体时，会出现运动物体被分割展开的情况，那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况，因此，结合全景图像360度记录的特性，展开时，全景图沿分割线左右对称的两条半圆弧线处展开，得到扩展全景经纬度图像，扩展补充部分图像的宽度与原全景图的经度对应，扩展全景经纬度图像的高度与原全景图的高度一致；
步骤4：取相邻两幅扩展全景经纬度图像逐点计算位移值；
步骤5：根据插入帧数和位移值，变换相邻两组扩展全景经纬度图像并进行融合，得到新插入的图像帧；
步骤6：将原始图像帧和新插入的图像帧统一编码，获得高帧率的全景视频。
2.一种全景视频插帧装置，其特征在于，包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块，
所述全景视频解码模块，用于将全景视频解码得到全景经纬度图像序列；
所述球面投影模块，用于将全景经纬度图像投影到球面上；
所述扩展全景经纬度图像生成模块，用于将球面全景展开为经纬度全景图时，在经纬度全景图的左右两侧补充经度大小对应的图像，以确保运动物体不会被分割开来；
所述位移场计算模块，用于计算相邻两帧扩展全景经纬度图像之间的位移值；
所述变换融合模块，用于根据位移值和插入帧数，对相邻两帧扩展全景经纬度图像进行变换并融合，生成新插入的扩展全景图像帧，根据原始图像帧在扩展全景图像帧中的位置，截取出最终的与原图像一样大小的插入全景图像帧；
所述压缩编码模块，用于将原始图像帧和插入全景图像帧统一编码，获得高帧率的全景视频。
CN201810938622.7A 2018-08-17 2018-08-17 一种全景视频插帧方法及装置 Active CN109246477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810938622.7A CN109246477B (zh) 2018-08-17 2018-08-17 一种全景视频插帧方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810938622.7A CN109246477B (zh) 2018-08-17 2018-08-17 一种全景视频插帧方法及装置

Publications (2)

Publication Number Publication Date
CN109246477A CN109246477A (zh) 2019-01-18
CN109246477B true CN109246477B (zh) 2021-04-27

Family

ID=65071433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810938622.7A Active CN109246477B (zh) 2018-08-17 2018-08-17 一种全景视频插帧方法及装置

Country Status (1)

Country Link
CN (1) CN109246477B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111179165B (zh) * 2019-11-29 2023-07-28 南京泓众电子科技有限公司 一种全景图像生成方法及装置
CN112351287B (zh) * 2020-09-30 2022-10-14 深圳市为汉科技有限公司 一种多媒体数据处理方法、装置、电子设备及计算机可读存储介质
CN113873259A (zh) * 2021-09-17 2021-12-31 影石创新科技股份有限公司 全景视频插帧方法、装置及计算机可读存储介质
CN116760965B (zh) * 2023-08-14 2023-12-22 腾讯科技（深圳）有限公司 全景视频编码方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN106612440A (zh) * 2015-10-26 2017-05-03 展讯通信（上海）有限公司 图像生成方法及装置
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN108012153A (zh) * 2016-10-17 2018-05-08 联发科技股份有限公司 一种编解码方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332242B2 (en) * 2017-02-02 2019-06-25 OrbViu Inc. Method and system for reconstructing 360-degree video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612440A (zh) * 2015-10-26 2017-05-03 展讯通信（上海）有限公司 图像生成方法及装置
CN105898138A (zh) * 2015-12-18 2016-08-24 乐视致新电子科技（天津）有限公司 全景视频播放方法及装置
WO2017142353A1 (ko) * 2016-02-17 2017-08-24 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN106331723A (zh) * 2016-08-18 2017-01-11 上海交通大学 一种基于运动区域分割的视频帧率上变换方法及系统
CN108012153A (zh) * 2016-10-17 2018-05-08 联发科技股份有限公司 一种编解码方法及装置

Also Published As

Publication number Publication date
CN109246477A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
CN109246477B (zh) 一种全景视频插帧方法及装置
US11055901B2 (en) Method, apparatus, medium, and server for generating multi-angle free-perspective video data
US10540818B2 (en) Stereo image generation and interactive playback
US10567649B2 (en) Parallax viewer system for 3D content
US20220319103A1 (en) Lightweight View Dependent Rendering System for Mobile Devices
TW201921921A (zh) 基於紋理圖與網格之３ｄ影像資訊的處理
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
US10444931B2 (en) Vantage generation and interactive playback
CN107426491B (zh) 一种360度全景视频的实现方法
TW201803358A (zh) 將沈浸式視訊格式化用於傳統及沈浸式顯像元件之方法、裝置及串流
US20220345684A1 (en) Image Interpolation Method and Device Based on RGB-D Image and Multi-Camera System
CN114513646B (zh) 一种三维虚拟场景中全景视频的生成方法及设备
CN111731190A (zh) 车载avm的显示方法、系统、电子设备及存储介质
CN108765582B (zh) 一种全景图片显示方法及设备
CN112802206B (zh) 漫游视图的生成方法、装置、设备和存储介质
CN109427087A (zh) 图像处理方法和装置
WO2019037558A1 (zh) 图像处理方法和装置
KR20070104129A (ko) 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치
CN108022204A (zh) 一种柱面全景视频转换为球面全景视频的方法
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
CN102789649A (zh) 一种实现三维变换特效的方法
US20240096035A1 (en) Latency reduction for immersive content production systems
CN113038262A (zh) 一种全景直播方法和装置
CN111698513A (zh) 图像采集方法、显示方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant