CN106296588B - 一种基于gpu的vr视频编辑的方法 - Google Patents

一种基于gpu的vr视频编辑的方法 Download PDF

Info

Publication number
CN106296588B
CN106296588B CN201610721030.0A CN201610721030A CN106296588B CN 106296588 B CN106296588 B CN 106296588B CN 201610721030 A CN201610721030 A CN 201610721030A CN 106296588 B CN106296588 B CN 106296588B
Authority
CN
China
Prior art keywords
preview
image
angle
video
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610721030.0A
Other languages
English (en)
Other versions
CN106296588A (zh
Inventor
罗天
王小斌
吴若涵
彭军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201610721030.0A priority Critical patent/CN106296588B/zh
Publication of CN106296588A publication Critical patent/CN106296588A/zh
Application granted granted Critical
Publication of CN106296588B publication Critical patent/CN106296588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于GPU的VR视频编辑的方法，它包括图像采集、编辑预览和结果输出；所述的图像采集包括如下步骤：S11：拍摄：利用全景拍摄设备拍摄图像；S12：拼接：将多个镜头拍摄的多个画面拼接成一个图像；所述的编辑预览包括如下步骤：S21：解码：对拍摄文件进行解码操作；S22:上传：将解码后的文件上传到显存中，由GPU处理；S23：编辑：对视频进行编辑；S24：预览：将长图像转化成立体图像进行预览；S241.将长图像至少分成6块区域；S242．对不同的区域进行直线投影；所述的结果输出将编辑后的结果进行编码写成文件输出。本方法增加预览步骤，可以在编辑过程中随时预览编辑效果。

Description

一种基于GPU的VR视频编辑的方法
技术领域
本发明涉及视频编辑领域，特别是一种基于GPU的VR视频编辑的方法。
背景技术
虚拟现实技术是仿真技术的一个重要方向是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合是一门富有挑战性的交叉技术前沿学科和研究领域。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入作出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
近几年，在谷歌、Facebook、索尼、三星等大拿的推动下，VR热潮席卷全球，关于VR的技术讨论层出不穷，VR视频也逐渐出现在大众的视线中。现有的VR视频制作过程主要是：采集-编辑-输出，这种方式的缺点在于必须完整地编码输出后才能检验制作效果。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于GPU的VR视频编辑的方法，增加预览步骤，可以在编辑过程中随时预览编辑效果。
本发明的目的是通过以下技术方案来实现的：一种基于GPU的VR视频编辑的方法，它包括图像采集、编辑预览和结果输出；
所述的图像采集包括如下步骤：
S11：拍摄：利用全景拍摄设备拍摄图像；
S12：拼接：将多个镜头拍摄的多个画面拼接成一个图像；
所述的编辑预览包括如下步骤：
S21：解码：对拍摄文件进行解码操作；
S22: 上传：将解码后的文件上传到显存中，由GPU进行后续处理；
S23：编辑：对视频进行编辑；
S24：预览：将长图像转化成立体图像进行预览；
S241.将长图像至少分成6块区域；
S242．对不同的区域进行直线投影；
所述的结果输出将编辑后的结果进行编码写成文件输出。
所述的直线投影包括如下子步骤：
A. 建立球模型：建立一个球形的模型来模拟视觉转换下的方位变换，以球心为视角观察点；
B. 将长图像贴在球模型上：按从上到下的顺序，将要预览的视频图像的每一行像素依次覆盖在球模型上；
C．建立观察矩阵：根据观察视角建立以观察点为顶点的六棱锥，调节视角的角度：当放大视野时，增大六棱锥的夹角，当缩小视野时，减小六棱锥的夹角；
D. 建立视界矩阵：根据视角的变化改变六棱锥的位置和角度，当进行上下移动时，六棱锥进行相应的俯仰角度的变化，当进行左右移动时，六棱锥进行相应的左右旋转角度的变化；
E．建立透视投影矩阵：将贴在球模型上的像素点依次投影在六棱锥六边形所在的平面上。
所述的步骤S21中解码后的文件为.mp4、.mxf或.mov文件。
所述的全景拍摄设备通常在多个位置安装多个摄像头同时进行拍摄。
所述的步骤S23中对视频进行的编辑包括剪接、添加字幕和添加特效。
本发明的有益效果是：本发明提供了一种基于GPU的VR视频编辑的方法，增加预览步骤，可以在编辑过程中随时预览编辑效果，以便在编辑过程中及时修正不足之处。
附图说明
图1为视频编辑方法流程图；
图2为视频预览变化对应示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于GPU的VR视频编辑的方法，它包括图像采集、编辑预览和结果输出；
所述的图像采集包括如下步骤：
S11：拍摄：利用全景拍摄设备拍摄图像，全景拍摄设备通常在多个方位安置了多个摄像头，常见的全景拍摄设备如：Google Jump、GoPro、NOKIA OZO、NextVR等；
S12：拼接：将多个镜头拍摄的多个画面拼接成一个图像，这个图像的长度比宽度长非常多，拼接算法与拍摄设备配套；
所述的编辑预览包括如下步骤：
S21：解码：对拍摄文件进行解码操作，解码的结果一般是.mp4、.mxf、.mov文件，存放在内存中；
S22: 上传：将解码后的文件上传到显存中，由GPU进行后续处理；
S23：编辑：对视频进行编辑，和普通视频的编辑方法一样，可以剪接、添加字幕、特效等；
S24：预览：将长图像转化成立体图像进行预览；
S241.将长图像至少分成6块区域；
S242．对不同的区域进行直线投影；
所述的结果输出将编辑后的结果进行编码写成文件输出，输出结果的格式和采集结果的格式相同，都是长度比宽度长很多的长图像。
如图2所示，所述的直线投影包括如下子步骤：
A. 建立球模型：建立一个球形的模型来模拟视觉转换下的方位变换，以球心为视角观察点；
B. 将长图像贴在球模型上：按从上到下的顺序，将要预览的视频图像的每一行像素依次覆盖在球模型上；
C．建立观察矩阵：根据观察视角建立以观察点为顶点的六棱锥，调节视角的角度：当放大视野时（即缩小画面以容纳更多的内容，物体变小，视野变大），增大六棱锥的夹角，当缩小视野时（即对某个场景放大观察，物体变大，视野变小），减小六棱锥的夹角；
D. 建立视界矩阵：根据视角的变化改变六棱锥的位置和角度，当进行上下移动时，六棱锥进行相应的俯仰角度的变化，当进行左右移动时，六棱锥进行相应的左右旋转角度的变化；
E．建立透视投影矩阵：将贴在球模型上的像素点依次投影在六棱锥六边形所在的平面上。
本申请的VR视频编辑方法增加预览步骤，可以在编辑过程中随时预览编辑效果，以便在编辑过程中及时修正不足之处。

Claims (4)

1.一种基于GPU的VR视频编辑的方法，其特征在于：它包括图像采集、编辑预览和结果输出；
所述的图像采集包括如下步骤：
S11：拍摄：利用全景拍摄设备拍摄图像；
S12：拼接：将多个镜头拍摄的多个画面拼接成一个图像；
所述的编辑预览包括如下步骤：
S21：解码：对拍摄文件进行解码操作；
S22：上传：将解码后的文件上传到显存中，由GPU进行后续处理；
S23：编辑：对视频进行编辑；
S24：预览：将长图像转化成立体图像进行预览；
S241.将长图像至少分成6块区域；
S242．对不同的区域进行直线投影；
步骤S242包括以下子步骤：
A．建立球模型：建立一个球形的模型来模拟视觉转换下的方位变换，以球心为视角观察点；
B．将长图像贴在球模型上：按从上到下的顺序，将要预览的视频图像的每一行像素依次覆盖在球模型上；
C．建立观察矩阵：根据观察视角建立以观察点为顶点的六棱锥，调节视角的角度：当放大视野时，增大六棱锥的夹角，当缩小视野时，减小六棱锥的夹角；
D．建立视界矩阵：根据视角的变化改变六棱锥的位置和角度，当进行上下移动时，六棱锥进行相应的俯仰角度的变化，当进行左右移动时，六棱锥进行相应的左右旋转角度的变化；
E．建立透视投影矩阵：将贴在球模型上的像素点依次投影在六棱锥六边形所在的平面上；
所述的结果输出将编辑后的结果进行编码写成文件输出。
2.根据权利要求1所述的一种基于GPU的VR视频编辑的方法，其特征在于：所述的步骤S21中解码后的文件为.mp4、.mxf或.mov文件。
3.根据权利要求1所述的一种基于GPU的VR视频编辑的方法，其特征在于：所述的全景拍摄设备在多个位置安装多个摄像头同时进行拍摄。
4.根据权利要求1所述的一种基于GPU的VR视频编辑的方法，其特征在于：所述的步骤S23中对视频进行的编辑包括剪接、添加字幕和添加特效。
CN201610721030.0A 2016-08-25 2016-08-25 一种基于gpu的vr视频编辑的方法 Active CN106296588B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610721030.0A CN106296588B (zh) 2016-08-25 2016-08-25 一种基于gpu的vr视频编辑的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610721030.0A CN106296588B (zh) 2016-08-25 2016-08-25 一种基于gpu的vr视频编辑的方法

Publications (2)

Publication Number Publication Date
CN106296588A CN106296588A (zh) 2017-01-04
CN106296588B true CN106296588B (zh) 2019-04-12

Family

ID=57615253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610721030.0A Active CN106296588B (zh) 2016-08-25 2016-08-25 一种基于gpu的vr视频编辑的方法

Country Status (1)

Country Link
CN (1) CN106296588B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107547939A (zh) * 2017-08-18 2018-01-05 深圳岚锋创视网络科技有限公司 全景视频文件剪辑的方法、系统及便携式终端
WO2020082286A1 (zh) * 2018-10-25 2020-04-30 郑卜元 虚拟现实实时拍摄监看系统及控制方法
WO2020107297A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 视频剪辑控制方法、终端设备和系统
CN113064809A (zh) * 2020-01-02 2021-07-02 北京沃东天骏信息技术有限公司 一种跨设备页面调试方法和装置
CN111737015B (zh) * 2020-08-10 2020-12-25 成都索贝数码科技股份有限公司 基于多gpu提高大幅面非线性编辑实时层数的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079151A (zh) * 2006-10-13 2007-11-28 浙江师范大学 一种基于序列静态图像的360°环视全景生成方法
CN102013110A (zh) * 2010-11-23 2011-04-13 李建成 三维全景图像生成方法及系统
CN102750724A (zh) * 2012-04-13 2012-10-24 广州市赛百威电脑有限公司 一种基于图像的三维和全景系统自动生成方法
CN105611280A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 一种基于android系统的VR视频编辑方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2234012C (en) * 1998-04-06 2004-02-24 Leitch Technology Corporation Method and apparatus for synchronized multiple format data storage

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101079151A (zh) * 2006-10-13 2007-11-28 浙江师范大学 一种基于序列静态图像的360°环视全景生成方法
CN102013110A (zh) * 2010-11-23 2011-04-13 李建成 三维全景图像生成方法及系统
CN102750724A (zh) * 2012-04-13 2012-10-24 广州市赛百威电脑有限公司 一种基于图像的三维和全景系统自动生成方法
CN105611280A (zh) * 2015-12-31 2016-05-25 北京奇艺世纪科技有限公司 一种基于android系统的VR视频编辑方法和系统

Also Published As

Publication number Publication date
CN106296588A (zh) 2017-01-04

Similar Documents

Publication Publication Date Title
CN106296588B (zh) 一种基于gpu的vr视频编辑的方法
US11410377B2 (en) Lightweight view dependent rendering system for mobile devices
CN108648257B (zh) 全景画面的获取方法、装置、存储介质及电子装置
WO2019041351A1 (zh) 一种3d vr视频与虚拟三维场景实时混叠渲染的方法
US20180356893A1 (en) Systems and methods for virtual training with haptic feedback
CN106527857A (zh) 一种基于虚拟现实的全景视频交互方法
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
CN107231531A (zh) 一种网络虚拟现实技术与实拍结合影视制作系统
CN112702522B (zh) 一种基于vr直播系统的自适应控制播放方法
CN110035321B (zh) 一种在线实时视频的装饰方法与系统
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
US8842933B2 (en) Facial motion capture using marker patterns that accommodate facial surface
KR20090064153A (ko) 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
KR102308604B1 (ko) 레거시 및 몰입형 렌더링 디바이스들에 대한 몰입형 비디오를 포맷하는 방법, 장치 및 스트림
CN106373182A (zh) 一种增强现实人脸互动娱乐方法
KR102353556B1 (ko) 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN108769648A (zh) 一种基于720度全景vr的3d场景呈现方法
US20210144283A1 (en) An apparatus, method, and system for capturing 360/virtual reality video using a mobile phone add-on
Ekong et al. Teacher-student vr telepresence with networked depth camera mesh and heterogeneous displays
CN111083368A (zh) 一种基于云端的模拟物理云台全景视频展示系统
CN104732560A (zh) 基于动作捕捉系统的虚拟摄像机拍摄方法
WO2009068942A1 (en) Method and system for processing of images
Parikh et al. A mixed reality workspace using telepresence system
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant