CN108122283B - 一种利用坐标变换编辑vr影像的方法 - Google Patents

一种利用坐标变换编辑vr影像的方法 Download PDF

Info

Publication number
CN108122283B
CN108122283B CN201711384607.4A CN201711384607A CN108122283B CN 108122283 B CN108122283 B CN 108122283B CN 201711384607 A CN201711384607 A CN 201711384607A CN 108122283 B CN108122283 B CN 108122283B
Authority
CN
China
Prior art keywords
panorama
dimensional
camera
edited
projection plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711384607.4A
Other languages
English (en)
Other versions
CN108122283A (zh
Inventor
杨益红
罗天
陈晓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201711384607.4A priority Critical patent/CN108122283B/zh
Publication of CN108122283A publication Critical patent/CN108122283A/zh
Application granted granted Critical
Publication of CN108122283B publication Critical patent/CN108122283B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种利用坐标变换编辑VR影像的方法,旨在解决现有技术中直接对VR全景图进行贴矩形框处理而造成VR全景图该区域失去原有的立体感问题；本发明中通过将VR全景图安置在虚拟的三维球面上，通过确定VR全景图的投影平面进而获得VR全景图在三维坐标系中的坐标，直接在三维坐标中对VR全景图进行编辑，使得最终获得的VR全景图的成像效果较好，相对于现有的直接在VR全景平面上对图像进行编辑的方式，本发明最终获得的编辑后的VR全景图立体感和沉浸感更好，能够使用户体验到更好的VR成像效果；本发明适用于VR图像处理相关领域。

Description

一种利用坐标变换编辑VR影像的方法
技术领域
本发明涉及VR图像编辑领域，具体涉及一种利用坐标变换编辑VR影像的方法。
背景技术
HTC，Oculus，SONY三大头部显示器的相继发售，让2016年成为VR元年。VR技术经过几十年的飞速发展，涉及包括军事航天、应急演练、广电广播和娱乐悠闲等众多领域。 VR的成像原理主要为用VR眼镜等设备，将360度全景视图投射至人眼中，再利用左右眼视觉的差异形成3D的效果。
在广电媒体行业中，存在着对VR影像编辑的需求。但VR的全景图片与普通图片不同的是，VR全景图片是经过多张图片经过处理拼接而成的，普通图像是真实世界的一个截面，而VR全景图却与真实世界存在差异。人眼需要借助VR眼镜或头部显示器，才能观看VR影像。所以使用常规方法编辑VR影像是不可行的。因此在VR视频的实现中，各种坐标系的之间的转换显得尤为重要。
例如在古装的VR影像片段拍摄的过程中，会乱入一些现代的标识标牌进去，如果重新拍摄会耗费大量的工作，我们希望在VR影像中用平整的矩形框地遮盖这些标识标牌，如果直接在全景平面上的对应区域贴矩形框，该区域在VR影像中便会是奇奇怪怪的其他形状，会使该区域失去原有的立体感和沉浸感，与我们的初衷背道而驰。这显然无法满足广电媒体行业的在VR技术上的需求。这种需求在实际VR影响拍摄处理过程中较多，比如我们的VR影像拍摄结束后，要临时加入一些其他广告元素或者一些图像想进行替换和修改。
同时现有相关技术中基本没有涉及到对VR影像处理，但是VR影像通常由无人机拍摄，拍摄过程中难免会出现一些瑕疵点，如何对VR影像进行后期处理编辑是不可避免的一个问题，在编辑过程中除了要保持该区域原有的立体感和沉浸感，还需要考虑一些其他问题，比如如何保证用于替换这些标识标牌的图像在VR影像中的清晰度达标，图像与周围的融合效果更好，更逼真，这些都是VR影像编辑过程中需要解决的难题。
发明内容
本发明的目的在于：针对现有技术中由于直接对VR全景图进行贴矩形框处理而造成VR 全景图该区域失去原有的立体感的问题，本发明提出了一种利用坐标变换编辑VR影像的方法。
为了达到上述目的，本发明一方面提供了一种利用坐标变换编辑VR影像的方法，具体采用的技术方案如下：
一种利用坐标变换编辑VR影像的方法,包括以下步骤：
步骤1：建立三维坐标系，并在三维坐标系中构建三维球面，将待编辑VR全景图映射到三维球面上；
所述步骤1的具体步骤为：
步骤1.1：建立三维坐标系，在三维坐标系中构建三维球面；
上述方案中，所述步骤1.1的具体步骤为：
步骤1.1.1：以摄像机为坐标原点，建立三维坐标系；
步骤1.1.2：以摄像机的焦距为球面半径建立三维球面；
步骤1.2：将待编辑VR全景图转化为纹理图；
步骤1.3：将步骤1.2中的纹理图映射到三维球面上。
步骤2：确定步骤1处理后的待编辑VR全景图的图像编辑参数，并利用图像编辑参数确定待编辑VR全景图在三维坐标系上的投影平面；
上述方案中，所述步骤2的具体步骤为：
步骤2.1：获得图像编辑参数，图像编辑参数包括摄像机的焦距、摄像机的张角、摄像机的旋转角度和仰视角度；
步骤2.2：根据步骤2.1中的张角、旋转角度、仰视角度获得待编辑VR全景图在三维坐标系上的投影平面；
步骤3：对步骤2中的投影平面进行坐标变换得到待编辑VR全景图的三维坐标；
上述方案中，所述步骤3的具体步骤为：
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系；
步骤3.2：根据摄像机的仰视角度、比例关系和投影平面坐标获得仰视角度下的待编辑 VR全景图坐标；
步骤3.3：根据步骤3.2的仰视角度下的待编辑VR全景图坐标和摄像机的旋转角度获得待编辑VR全景图的三维坐标；
上述方案中，更进一步地，
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系c为：
c＝r×tan(e/2)×2/nH
其中r为三维球面半径，即摄像机的焦距f；e为摄像机的张角，nH投影平面在Y轴方向的高度；
步骤3.2：根据摄像机的仰视角度a及比例关系c并根据投影平面坐标(x,y)获得仰视角度下的待编辑VR全景图坐标(x0，y0，z0)为：
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c×(nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
nw为投影平面在X轴方向的宽度，a为摄像机的仰视角度，nH投影平面在Y轴方向的高度；
步骤3.3：根据步骤3.2的仰视角度下的待编辑VR全景图坐标和摄像机的旋转角度获得待编辑VR全景图的三维坐标(x3，y3，z3)为：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
其中b为摄像机的旋转角度。
步骤4：在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR全景图；
所述步骤4的具体步骤为：
步骤4.1：将待编辑VR全景图进行缩放得到在三维坐标中的标准待编辑VR全景图；
步骤4.2：对标准待编辑VR全景图进行编辑得到编辑后的VR全景图；
上述方案中4.2的具体步骤为：
步骤4.2.1：将步骤4.1中的标准待编辑VR全景图进行细分成小四边形；
步骤4.2.2：对步骤4.2.1中的小四边形分别进行编辑得到编辑后的VR全景图。
上述方案中，所述步骤4在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR 全景图中的编辑包括替换贴图处理。
为了达到上述目的，本发明从另一方面提供了一种坐标变换的方法，具体技术方案如下：
步骤1：建立三维坐标系，并在三维坐标系确立三维球面；
步骤2：将三维图像映射到三维球面上，获得图像编辑参数，图像编辑参数包括摄像机的张角、焦距参数、摄像机的旋转角度和摄像机的仰视角度，并根据三维图像以及图像编辑参数获得三维图像在三维坐标系中的投影平面；
步骤3：根据图像编辑参数得到投影平面对应的三维图像的坐标；
上述方案中，所述步骤3的具体步骤为：
步骤3.1：获得三维图像与投影平面之间的比例关系；
步骤3.2：根据摄像机的仰视角度及比例关系并根据投影平面坐标获得摄像机的仰视角度下的三维图像坐标；
步骤3.3：根据摄像机的旋转角度和步骤3.2的仰视角度下的三维图像坐标获得三维图像的坐标。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
1.本发明中通过将VR全景图安置在虚拟的三维球面上，并通过确定VR全景图的投影平面进而获得VR全景图在三维坐标系中的坐标，即可以直接在三维坐标中对VR全景图进行编辑，获得最终编辑后的VR全景图，本发明使得最终获得的编辑图像的成像效果较好，相对于现有的直接在全景平面上对图像进行编辑的方式，本发明最终获得编辑后的VR全景图的立体感和沉浸感更好，能够使得用户体验到更好的VR成像效果；
2.本发明中还提供了一种将单个二维图像转换成三维坐标下图像的方法，克服了现有的需要两种不同角度的同一物体的照片才能转换成三维坐标下的图像的技术壁垒；
3.本发明还通过将待编辑VR全景图进行缩放和细化处理，获得了效果更加逼真的VR 全景图，克服了在编辑VR全景图过程中难以保持被编辑部分的逼真效果的难题；
4.本发明适用于对单张VR全景图的局部编辑，同时也适用于对VR影视中的每帧图像的编辑。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1是本发明的整体流程图；
图2是本发明的三维球面坐标系示意图；
图3是本发明的各平面坐标与遮挡平面的示意图；
图4是本发明的获取待编辑VR全景图与投影平面之间的比例的原理示意图；
图5是本实施例二中的VR全景图；
图6是本实施例二VR全景图的待编辑部分在三维球面上的投影平面图；
图7是本实施例二中原贴图示意图；
图8是本实施例二中H面示意图；
图9是本实施例二中H面和原贴图的像素对应示意图；
图10是本实施例二编辑后的贴图效果图；
图11是本实施例二的编辑后的VR全景图效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种利用坐标变换编辑VR影像的方法,包括以下步骤：
步骤1：建立三维坐标系，并在三维坐标系中构建三维球面，将待编辑VR全景图映射到三维球面上；
所述步骤1的具体步骤为：
步骤1.1：建立三维坐标系，在三维坐标系中构建三维球面；
上述方案中，所述步骤1.1的具体步骤为：
步骤1.1.1：以摄像机为坐标原点，建立三维坐标系；
步骤1.1.2：以摄像机的焦距为球面半径建立三维球面；
步骤1.2：将待编辑VR全景图转化为纹理图；
步骤1.3：将步骤1.2中的纹理图映射到三维球面上。
步骤2：确定步骤1处理后的待编辑VR全景图的图像编辑参数，并利用图像编辑参数确定待编辑VR全景图在三维坐标系上的投影平面；
上述方案中，所述步骤2的具体步骤为：
步骤2.1：获得图像编辑参数，图像编辑参数包括摄像机的焦距、摄像机的张角、摄像机的旋转角度和仰视角度；
步骤2.2：根据步骤2.1中的张角、旋转角度及仰视角度获得确定待编辑VR全景图在三维坐标系上的投影平面；
步骤3：对步骤2中的投影平面进行坐标变换得到待编辑VR全景图的三维坐标；
上述方案中，所述步骤3的具体步骤为：
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系；
步骤3.2：根据摄像机的仰视角度、比例关系和投影平面坐标获得仰视角度下的待编辑 VR全景图坐标；
步骤3.3：根据步骤3.2的仰视角度下的待编辑VR全景图坐标和摄像机的旋转角度获得待编辑VR全景图的三维坐标；
上述方案中，更进一步地，
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系c为：
c＝r×tan(e/2)×2/nH
其中r为三维球面半径，即摄像机的焦距f；e为摄像机的张角，nH投影平面在Y轴方向的高度；
步骤3.2：根据摄像机的仰视角度a及比例关系c并根据投影平面坐标(x,y)获得仰视角度下的待编辑VR全景图坐标(x0，y0，z0)为：
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c × (nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
nw为投影平面在X轴方向的宽度，a为摄像机的仰视角度，nH投影平面在Y轴方向的高度；
步骤3.3：根据步骤3.2的仰视角度下的待编辑VR全景图坐标和摄像机的旋转角度获得待编辑VR全景图的三维坐标(x3，y3，z3)为：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
其中b为摄像机的旋转角度；
步骤4：在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR全景图；
所述步骤4的具体步骤为：
步骤4.1：将待编辑VR全景图进行缩放得到在三维坐标中的标准待编辑VR全景图；
步骤4.2：对标准待编辑VR全景图进行编辑得到编辑后的VR全景图；
上述方案中4.2的具体步骤为：
步骤4.2.1：将步骤4.1中的标准待编辑VR全景图进行细分成小四边形；
步骤4.2.2：对步骤4.2.1中的小四边形分别进行编辑得到编辑后的VR全景图。
上述方案中，所述步骤4在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR 全景图中的编辑包括替换贴图处理。
为了达到上述目的，本发明从另一方面提供了一种坐标变换的方法，具体技术方案如下：
步骤1：建立三维坐标系，并在三维坐标系确立三维球面；
步骤2：将三维图像映射到三维球面上，获得图像编辑参数，图像编辑参数包括摄像机的张角、焦距参数、摄像机的旋转角度和摄像机的仰视角度，并根据三维图像以及图像编辑参数获得三维图像在三维坐标系中的投影平面；
步骤3：根据图像编辑参数得到投影平面对应的三维图像的坐标；
上述方案中，所述步骤3的具体步骤为：
步骤3.1：获得三维图像与投影平面之间的比例关系；
步骤3.2：根据摄像机的仰视角度、比例关系和投影平面坐标获得摄像机的仰视角度下的三维图像坐标；
步骤3.3：根据摄像机的旋转角度及步骤3.2的仰视角度下的三维图像坐标获得三维图像的坐标。
实施例一
本实施例结合附图对本发明的技术方案进行详细说明：
步骤1：建立三维坐标系，并在三维坐标系中构建三维球面，将待编辑VR全景图映射到三维球面上；
具体说明：
在虚拟空间中建立三维坐标系，本实施例建立的是左手坐标系，同时在坐标系中构建三维球面，将需要编辑的VR全景图(可能是整个VR全景图的编辑或者局部编辑)转换成纹理，再映射到三维球面上；
关于如何建立三维球面：将摄像机(这里指的是选取的虚拟摄像机)设定为原点O，摄像机的焦距f即摄像机和成像平面的距离为三维球面的半径r，获得三维球面，以水平方向为X轴，竖直方向为Y轴，如图2所示，其中P'即为待编辑的VR全景图映射到三维球面的面，而待编辑的VR全景图的投影平面定义为P，P平面中心与O点连线始终与P平面垂直，即该连线始终在球面的某一半径方向，P'为P平面在三维球面上的原平面，当观察者观察 P'平面时，他在屏幕上实际观察到的是P；
步骤2：确定待编辑VR全景图的图像编辑参数，并利用图像编辑参数确定待编辑VR全景图在三维坐标系上的投影平面；
具体说明：
确定摄像机的张角e，张角e是摄像机捕获最上面的光线与最下面的光线之间的夹角，决定某次观察垂直方向的高度，张角e以及摄像机的焦距f都是摄像机观察过程中的固定参数，根据编辑需求，取摄像机的旋转角度为b(控制水平视角)，仰视角度a(控制垂直角度)，则可以确定投影平面P(实际上确定了屏幕投影平面P在三维坐标中的具体坐标)；
步骤3：对步骤2中的投影平面(指的是投影平面上的坐标点，每个坐标点都可以进行相应的转换)进行坐标变换得到待编辑VR全景图的三维坐标；
取投影平面P的点(x,y)进行坐标变换得到三维球面上P'上的点(x3，y3，z3)；
具体如何变换：
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系c；
参考图4，投影平面是二维平面也可以理解为像素平面，待编辑VR全景图是三维平面也可以理解为物理尺寸，那么从O点出发，其中AB即为待编辑VR全景图的物理尺寸也就是在Y轴方向上的高度，OA所在平面即观察视线的上边界，OB所在平面即观察视线的下边界，OC所在为水平视线；ACB所在位置为投影面。
利用张角e可以获得二维平面垂直方向的高度，那么就进而可以获得nH为投影平面在Y 轴方向的高度，进而可以获得待编辑VR全景图与投影平面之间的比例关系c：
c＝r×tan(e/2)×2/nH
其中，nH投影平面在Y轴方向的高度，而(r*tan(e/2)*2)为VR全景图的物理尺寸也就是在Y轴方向上的高度，即对应图4中AB；
步骤3.2：只考虑仰视角度a,即只考虑二维平面坐标点(x,y)在仰视角度下获得仰视角度下的三维图像(x0，y0，z0)，具体计算过程如下：
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c×(nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
其中，nw为投影平面在X轴方向的宽度；
步骤3.3：再考虑仰视角度下的三维图像(x0，y0，z0)围绕y轴旋转角b，计算对应三维点坐标(x3，y3，z3)，点(x3，y3，z3)投影平面上任一点(x,y)在空间球面上对应的点坐标，计算过程如下：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
步骤4：在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR全景图；
具体说明步骤4：
为了构造贴图纹理，这里将空间球面上的三维点(x3，y3，z3)往视线方向前移(即缩放)，得到所需的最终贴图面的三维坐标(Px,Py,Pz)，将空间球面上原三维平面的三维点(x3， y3，z3)沿视线方向前移,直到构成的贴图面为原三维平面的0.7,贴图面三维坐标计算过程如下：
pa＝asin(y3/sqrt(x3×x3+y3×y3+z3×z3))
pb＝acos(x3/sqrt(x3×x3+z3×z3))
px＝r×0.7×cos(pa)×cos(pb)
py＝r×0.7×sin(pa)
pz＝-r×0.7×cos(pa)×sin(pb)
注：Pa为观察者目光线与水平面的夹角；Pb为观察者目光线与竖直面的夹角；计算P坐标时乘于0.7是因为将原曲面缩小了30％；
即如附图3所示的，H就是最终贴图面(也就是上述中的标准待编辑VR全景图)，其二维平面上的点在最终贴图面上的点为三维坐标(Px,Py,Pz)；
如图7-9所示，为了使贴图效果形象逼真，尽量细分贴图平面，切分成许多足够小的三角形面，每一个三角形面则单独构成细小纹理，具体如下：
如图7所示是用于替换H面的原贴图，将原贴图划分为足够多的细小平面，细小平面最终决定了纹理效果；
由于待编辑VR全景图映射到三维球面的时候，局部会有一定的拉伸或者形变，所以原贴图不一定能与H面大小和位置刚好对应，所以在用原贴图对H面进行替换的时候，需要对原贴图根据实际情况进行一定的处理，原贴图经过的细小平面可能需要经过局部的变换 (主要包括拉伸、旋转等操作)处理才能与H面的大小和位置等相互对应。当然这里并不是直接将整个原贴图进行变换，因为直接对原贴图进行整体变化得出的图形效果难以保证，因此本实施中是对原贴图面上每一个细小四边形变换成与H面相对应的的细小平面，将H 面(也就是最终的贴图面)划分，划分得到的细小平面的数量需与原贴图划分得到的平面数量一致，再对原贴图的细小平面经过上述的局部的变换(主要包括拉伸和旋转操作)之后，原贴图与H曲面之间就能够一一对应，划分空间曲面H如图8所示；
下面具体对原贴图替换H面的过程进行说明：将H面区域内的每个个细小平面对应至原贴图区域内的细小平面，每个细小平面内的像素点也一一对应，那前者区域内每一像素点的RGB值便等于后者区域内的对应像素点。每一细小平面内的像素点K位置对应关系如图9所示，根据对应关系(对应关系依据四边经过拉伸与旋转之后不会改变四边形内部点的比例位置)，便可从H曲面上每一细小区域出发，得到所有像素点的对应RGB值，一个区域内的所有像素点便由GPU渲染成一个细小纹理(注意应将纹理对应的四边形切分成两个三角形传入GPU，因为GPU一般是以细小平面为单位做渲染的，而四边形往往在空间中表现为曲面)，这些细小纹理的集合就是最后所需的贴图纹理。
然后将原贴图的细小平面一一对应替换到最终贴图面H上，即完成了对VR全景图的编辑。
实施例二
在实施例一的基础上，图5是没有进行处理的VR全景图，本实施例筛选了VR全景图(见图5)的某一部分进行贴图处理，VR全景图的待编辑部分在在三维球面上的投影平面图见图6，图10是对投影平面图对应的三维图进行处理后的效果图，最后再获得编辑后的整体VR全景图见图11；
对具体的VR全景图进行上述的贴图处理之后，发现贴图效果回归于全景图中的效果良好，因为不论观察哪一个投影平面，贴图都已经完整地遮盖了原图像，说明本方案处理效果满足了贴图需求。
实施例三
本实施例具体说明了一种坐标变换方法，具体如下：
步骤1：建立三维坐标系，并在三维坐标系确立三维球面；
步骤2：将三维图像映射到三维球面上，获得图像编辑参数包括摄像机的张角、焦距参数、摄像机的旋转角度和摄像机的仰视角度，并根据三维图像以及图像编辑参数获得三维图像在三维坐标系中的投影平面；
步骤3：根据图像编辑参数得到投影平面对应的三维图像的坐标。
步骤3.1：获得三维图像与投影平面之间的比例关系c；
c＝r×tan(e/2)×2/nH
其中r为三维球面半径，即摄像机的焦距f；e为摄像机的张角，nH投影平面在Y轴方向的高度；
步骤3.2：根据摄像机的仰视角度及比例关系并根据投影平面坐标获得摄像机的仰视角度下的三维图像坐标；
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c×(nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
nw为投影平面在X轴方向的宽度，a为摄像机的仰视角度，nH投影平面在Y轴方向的高度， x为投影平面上点的横坐标，y为投影平面上点的纵坐标，x0为投影平面对应摄像机的仰视角度下三维坐标系上的x轴的坐标，y0为投影平面对应摄像机的仰视角度下三维坐标系上的y轴坐标，z0为投影平面对应摄像机的仰视角度下三维坐标系上的z轴坐标；
步骤3.3：根据摄像机的旋转角度及步骤3.2的仰视角度下的三维图像坐标获得三维图像的坐标：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
其中b为摄像机的旋转角度,x3是投影平面对应三维坐标系上的x轴的坐标，y3是投影平面对应三维坐标系上的y轴的坐标；z3投影平面对应三维坐标系上的z轴的坐标。
本实施例并实现了二维坐标向三维坐标变换的过程，并且实现了由单个图像变换三维图像的过程，对于后续VR全景图的编辑发展有重要意义。
其中应当说明的是，上述内容中提到的摄像机并不一定指的是真实的摄像机，以及对应的焦距以及仰角以及转角，都是根据实际编辑需要进行设定的参数；其中上述中的待编辑VR全景图表示的可以是整个图像都需要进行编辑的VR全景图，也可以是局部需要编辑的VR全景图；其中应当说明的是当确定投影平面的时候，就确定了投影平面上的所有点的坐标，所以本发明中对于平面和坐标并没有严格的区分，在某些情况下，坐标可以等同于平面；附图中的，三维球面图也就是上述的三维球面；屏幕投影平面就是上述的投影平面；妥善编辑的360度全景图就是上述的编辑后的VR全景图，VR360度全景图就是待编辑的VR全景图；
其中应当说明的是，三维坐标系可以是右手坐标系也可以是左手坐标系，上述实施例是以左手坐标系为例，但是并不限于左手坐标系，当采用右手坐标系的时候，处理方法等与左手坐标系并无实质区别。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种利用坐标变换编辑VR影像的方法，其特征在于，包括以下步骤：
步骤1：建立三维坐标系，在三维坐标系中构建三维球面，将待编辑VR全景图映射到三维球面上；
步骤2：确定步骤1处理后的待编辑VR全景图的图像编辑参数，并利用图像编辑参数确定待编辑VR全景图在三维坐标系上的投影平面；
步骤2.1：获得图像编辑参数，图像编辑参数包括摄像机的焦距、摄像机的张角、摄像机的旋转角度和摄像机的仰视角度；
步骤2.2：根据步骤2.1中的张角、旋转角度及仰视角度获得待编辑VR全景图在三维坐标系上的投影平面；
步骤3：对步骤2中的投影平面进行坐标变换得到待编辑VR全景图的三维坐标；
步骤3.1：获得待编辑VR全景图与投影平面之间的比例关系c为：
c＝r×tan(e/2)×2/nH
其中r为三维球面半径，即摄像机的焦距f；e为摄像机的张角，nH投影平面在Y轴方向的高度；
步骤3.2：根据摄像机的仰视角度a及比例关系c并根据投影平面坐标(x，y)获得仰视角度下的待编辑VR全景图坐标(x0，y0，z0)为：
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c×(nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
nw为投影平面在X轴方向的宽度，a为摄像机的仰视角度，nH投影平面在Y轴方向的高度；
步骤3.3：基于步骤3.2的仰视角度下的待编辑VR全景图坐标，并根据摄像机的旋转角度获得待编辑VR全景图的三维坐标(x3，y3，z3)为：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
其中b为摄像机的旋转角度；
步骤4：在三维坐标中对待编辑VR全景图进行编辑得到编辑后的VR全景图。
2.如权利要求1所述的一种利用坐标变换编辑VR影像的方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1：建立三维坐标系，在三维坐标系中构建三维球面；
步骤1.2：将待编辑VR全景图转化为纹理图；
步骤1.3：将步骤1.2中的纹理图映射到三维球面上。
3.如权利要求2所述的一种利用坐标变换编辑VR影像的方法，其特征在于，所述步骤1.1的具体步骤为：
步骤1.1.1：以摄像机为坐标原点，建立三维坐标系；
步骤1.1.2：以摄像机的焦距为球面半径建立三维球面。
4.如权利要求1所述的一种利用坐标变换编辑VR影像的方法，其特征在于，所述步骤4的具体步骤为：
步骤4.1：将待编辑VR全景图进行缩放得到在三维坐标中的标准待编辑VR全景图；
步骤4.2：对标准待编辑VR全景图进行编辑得到编辑后的VR全景图。
5.如权利要求4所述的一种利用坐标变换编辑VR影像的方法，其特征在于，所述步骤4.2的具体步骤为：
步骤4.2.1：将步骤4.1中的标准待编辑VR全景图进行细分成小四边形；
步骤4.2.2：对步骤4.2.1中的小四边形面进行编辑得到编辑后的VR全景图。
6.一种坐标变换的方法，其特征在于，包括以下步骤：
步骤1：建立三维坐标系，并在三维坐标系确立三维球面；
步骤2：将三维图像映射到三维球面上，获得三维图像的图像编辑参数，图像编辑参数包括摄像机的张角、摄像机的焦距、摄像机的旋转角度和摄像机的仰视角度，并根据三维图像以及图像编辑参数获得三维图像在三维坐标系中的投影平面；
步骤3：根据图像编辑参数得到投影平面对应的三维图像的坐标；
步骤3.1：获得三维图像与投影平面之间的比例关系c；
c＝r×tan(e/2)×2/nH
其中r为三维球面半径，即摄像机的焦距f；e为摄像机的张角，nH投影平面在Y轴方向的高度；
步骤3.2：根据摄像机的仰视角度及比例关系并根据投影平面坐标获得摄像机的仰视角度下的三维图像坐标；
x0＝-c×(nW/2-x)
y0＝r×sin(a)+c×(nH/2.0-y)×cos(a)
z0＝-r×cos(a)+c×(nH/2.0-y)×sin(a)
nw为投影平面在X轴方向的宽度，a为摄像机的仰视角度，nH投影平面在Y轴方向的高度，x为投影平面上点的横坐标，y为投影平面上点的纵坐标，x0为投影平面对应摄像机的仰视角度下三维坐标系上的x轴的坐标，y0为投影平面对应摄像机的仰视角度下三维坐标系上的y轴坐标，z0为投影平面对应摄像机的仰视角度下三维坐标系上的z轴坐标；
步骤3.3：根据摄像机的旋转角度及步骤3.2的仰视角度下的三维图像坐标获得三维图像的坐标：
x3＝x0×cos(b)+z0×sin(b)
y3＝y0
z3＝z0×cos(b)-x0×sin(b)
其中b为摄像机的旋转角度，x3是投影平面对应三维坐标系上的x轴的坐标，y3是投影平面对应三维坐标系上的y轴的坐标；z3投影平面对应三维坐标系上的z轴的坐标。
CN201711384607.4A 2017-12-20 2017-12-20 一种利用坐标变换编辑vr影像的方法 Active CN108122283B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711384607.4A CN108122283B (zh) 2017-12-20 2017-12-20 一种利用坐标变换编辑vr影像的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711384607.4A CN108122283B (zh) 2017-12-20 2017-12-20 一种利用坐标变换编辑vr影像的方法

Publications (2)

Publication Number Publication Date
CN108122283A CN108122283A (zh) 2018-06-05
CN108122283B true CN108122283B (zh) 2021-05-11

Family

ID=62230539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711384607.4A Active CN108122283B (zh) 2017-12-20 2017-12-20 一种利用坐标变换编辑vr影像的方法

Country Status (1)

Country Link
CN (1) CN108122283B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 虚拟现实图像校准方法及装置
CN106548446A (zh) * 2016-09-29 2017-03-29 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN106651764A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101783011A (zh) * 2010-01-08 2010-07-21 宁波大学 一种鱼眼镜头的畸变校正方法
CN105898275A (zh) * 2016-04-28 2016-08-24 乐视控股（北京）有限公司 虚拟现实图像校准方法及装置
CN106548446A (zh) * 2016-09-29 2017-03-29 北京奇艺世纪科技有限公司 一种在球面全景图像上贴图的方法及装置
CN106651764A (zh) * 2016-12-29 2017-05-10 北京奇艺世纪科技有限公司 一种全景图压缩方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A panoramic image generating algorithm based on hexahedral and spherical model;Wei Li等;《2011 2nd International Conference on Artificial Intelligence, Management Science and Electronic Commerce (AIMSEC)》;IEEE;20110906;全文 *
基于全景视图管理的3D图像拼接方法研究与实现;沈柯;《中国优秀硕士学位论文全文数据库 信息科技辑》;中国学术期刊（光盘版）电子杂志社;20160415(第04期);全文 *

Also Published As

Publication number Publication date
CN108122283A (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
US6947059B2 (en) Stereoscopic panoramic image capture device
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US7570280B2 (en) Image providing method and device
TWI451358B (zh) 香蕉編碼解碼器
CN101938599A (zh) 生成互动的动态全景影像的方法
WO2012166593A2 (en) System and method for creating a navigable, panoramic three-dimensional virtual reality environment having ultra-wide field of view
CN106558017B (zh) 球形显示图像处理方法及系统
CN110648274A (zh) 鱼眼图像的生成方法及装置
US11812009B2 (en) Generating virtual reality content via light fields
WO2020151268A1 (zh) 一种3d小行星动态图的生成方法及便携式终端
WO2004068865A1 (en) Steroscopic panoramic image capture device
JPH11175762A (ja) 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
CN112002003B (zh) 虚拟3d场景的球面全景立体画面生成与交互式显示方法
CN105809729A (zh) 一种虚拟场景的球形全景渲染方法
CN115330594A (zh) 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法
CN101000460A (zh) 一种环幕立体电影图像的制作方法
CN108564654B (zh) 三维大场景的画面进入方式
EP3573018B1 (en) Image generation device, and image display control device
US10757345B2 (en) Image capture apparatus
CN109272445B (zh) 基于球面模型的全景视频拼接方法
CN108122283B (zh) 一种利用坐标变换编辑vr影像的方法
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
CN111629194B (zh) 一种基于神经网络的全景视频转6dof视频的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant