CN107371011B - 将广角图像转换成地图投影图像及透视投影图像的方法 - Google Patents

将广角图像转换成地图投影图像及透视投影图像的方法 Download PDF

Info

Publication number
CN107371011B
CN107371011B CN201610317292.0A CN201610317292A CN107371011B CN 107371011 B CN107371011 B CN 107371011B CN 201610317292 A CN201610317292 A CN 201610317292A CN 107371011 B CN107371011 B CN 107371011B
Authority
CN
China
Prior art keywords
image
wide angle
projection
angle picture
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610317292.0A
Other languages
English (en)
Other versions
CN107371011A (zh
Inventor
施广衍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AIMEI COMPUTER SOFTWARE Ltd
Original Assignee
AIMEI COMPUTER SOFTWARE Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AIMEI COMPUTER SOFTWARE Ltd filed Critical AIMEI COMPUTER SOFTWARE Ltd
Priority to CN201610317292.0A priority Critical patent/CN107371011B/zh
Priority to US15/593,346 priority patent/US20170332014A1/en
Publication of CN107371011A publication Critical patent/CN107371011A/zh
Application granted granted Critical
Publication of CN107371011B publication Critical patent/CN107371011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种将广角图像转换成地图投影图像的方法，包含以下步骤：取得广角图像；选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像；以及利用所述方位广角图像制作补偿图像，以制作地图投影图像。本发明另涉及一种将广角图像转换成透视投影图像的方法，其也包括利用方位广角图像制作补偿图像的步骤。本发明有助于轻易完成虚拟现实图像。

Description

将广角图像转换成地图投影图像及透视投影图像的方法
技术领域
本发明涉及图像处理方法，尤其涉及将广角图像转换成地图投影(MapProjection)图像及透视投影(Perspective Projection)图像的方法。。
背景技术
等效矩形投影(Equirectangular Projection)又称为球体投影(SphericalProjection)或地理投影(Geography Projection)，其经度范围在-180°至180°之间，纬度范围在-90°至90°之间，等效矩形投影是个广泛实现沉浸式(Immersive)虚拟现实(VirtualReality，VR)的标准图像格式。
虚拟现实图像/视频的主要目标是输出等效矩形投影图像/视频流。目前市场上提供许多全景视频软件，这些软件所建构的全景视频总是需要将来自数个相机的图像/视频缝合(Stitching)成一个等效矩形投影。
产生虚拟现实图像或是视频流有几个关键组件，包括：相机钻机；具备高端显卡的电脑，以提供强大可以即时缝合图像的功能；拼接软件必须能即时(Real-Time)让人看起来没有时间延迟,还可以让人作出相应的调整；以及图像/视频转码器。
然而，现有技术的方法有一个重大的缺点，即无法符合即时使用外部显示装置直接取得一切虚拟现实要求的操作与输出。
发明内容
本发明提供一种将广角图像转换成地图投影图像的方法，以解决现有技术的问题。
本发明另提供一种将广角图像转换成透视投影图像的方法，以解决现有技术的问题。
为达上述优点，本发明一实施例提出一种将广角图像转换成地图投影图像的方法，包含以下步骤：取得广角图像；选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像；以及利用所述方位广角图像制作补偿图像，以制作地图投影图像。
在本发明一实施例中，利用所述方位广角图像制作补偿图像，以制作地图投影图像的步骤包含：将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及使用等效矩形投影法或地图投影法，将所述方位广角图像及所述补偿图像共同投影成所述地图投影图像。
在本发明一实施例中，所述方位广角图像的经度范围是180°，所述补偿图像的经度范围是180°。
在本发明一实施例中，所述补偿图像是所述方位广角图像的镜像投影图像或是复制投影图像，令f(λ,Φ)为所述方位广角图像投影到所述地图投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ,Φ)为所述补偿区域的补偿函数，其中：
所述镜像投影图像与所述方位广角图像的关系为:
所述复制投影图像与所述方位广角图像的关系为:
在本发明一实施例中，所述地图投影图法为等效矩形投影法，所述地图投影图像为等效矩形图像，而将广角图像转换成地图投影图像的方法还包含：使用f(λ+λ0,Φ)與f′(λ+λ0,Φ)，让所述等效矩形图像产生水平方向平移，其中λ0为经度位移角度。
在本发明一实施例中，所述地图投影图法为等效矩形投影法，所述地图投影图像为等效矩形图像，而将广角图像转换成地图投影图像的方法还包含：在所述等效矩形图像的纬度Φ为-90°到90°范围中裁切一个垂直方向区段作为圆柱形投影输出。
在本发明一实施例中，将广角图像转换成地图投影图像的方法还包含：动态改变地图投影时参考位置的经纬度坐标，取得新的地图投影图像。
在本发明一实施例中，所述地图投影图像是方位投影图像、圆柱形投影图像或等效矩形图像。
在本发明一实施例中，所选取的方位坐标模型是方位等距投影(AzimuthalEquidistant Projection)、方位立体投影(Azimuthal Stereographic Projection)或方位直交投影(Azimuthal Orthographic Projection)。
为达上述优点，本发明另一实施例提出一种将广角图像转换成透视投影图像的方法，包含以下步骤：取得广角图像；选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像；以及利用所述方位广角图像制作补偿图像，以制作透视投影图像。
在本发明一实施例中，利用所述方位广角图像制作补偿图像，以制作透视投影图像的步骤包含：将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及使用透视投影法，将所述方位广角图像及所述补偿图像共同投影成所述透视投影图像。
在本发明一实施例中，所述方位广角图像的经度范围是180°，所述补偿图像的经度范围是180°。
在本发明一实施例中，所述补偿图像是所述方位广角图像的镜像投影图像或是复制投影图像，令f(λ,Φ)为所述方位广角图像投影到所述透视投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ,Φ)为所述补偿区域的补偿函数，其中：
所述镜像投影图像与所述方位广角图像的关系为:
所述复制投影图像与所述方位广角图像的关系为:
在本发明一实施例中，所述透视投影法是以球心为观察位置(View Direction)。
在本发明一实施例中，将广角图像转换成透视投影图像的方法还包含：动态改变透视投影的观察方向的经纬度与水平视场角度(horizontal field of view,hFOV)，取得新的透视投影图像。
在本发明一实施例中，所选取的方位坐标模型是方位等距投影、方位立体投影或方位直交投影。
本发明所提供的各种方法,因包含利用方位广角图像来制作补偿图像的步骤，所以不需使用现有技术惯用的将多张图像缝合的手段，如此能轻易实现虚拟现实图像。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。
附图说明
图1是等效矩形投影图像的示意图。
图2A是图1的广角图像的复制投影模式的示意图。
图2B是图1的广角图像的镜像投影模式的示意图。
图3A是进行透视投影的示意图。
图3B是透视投影的物面(Object Plane)的示意图。
图4是本发明一实施例的将广角图像转换成地图投影图像的方法的方块图。
图5A是方位等距投影的示意图。
图5B是方位立体投影的示意图。
图5C是方位直交投影的示意图。
图5D是椭圆形方位坐标模型的示意图。
图6A是极点方位向的示意图。
图6B是赤道方位向的示意图。
图6C是斜角方位向的示意图。
图7A至图7E是本发明一实施例的将广角图像转换成地图投影图像的流程示意图。
图8A是由图5A的方位广角图像转换而成的矩形图像的示意图。
图8B是由图5B的方位广角图像转换而成的矩形图像的示意图。
图8C是由图5C的方位广角图像转换而成的矩形图像的示意图。
图9A是使用极点方位向的方位等距投影的方位广角图像的示意图。
图9B是由图9A的方位广角图像转换而成的矩形图像的示意图。
图10A是使用斜角方位向的方位等距投影的方位广角图像的示意图。
图10B是由图10A的方位广角图像转换而成的矩形图像的示意图。
图11本发明一实施例的是将方位广角图像转换至等效矩形图像的流程图
图12A至图12F是本发明另一实施例的将广角图像转换成地图投影图像的流程示意图。
图13是本发明一实施例的将广角图像转换成地图投影图像的方法的方块图。
图14A至图14C绘示使用本发明实施例的将广角图像转换成地图投影图像的方法所输出的三个不同的透视投影图像的示意图。
具体实施方式
本发明首先使用方位坐标模型来描述广角图像,因为方位投影模型(AzimuthalProjecitons)能标示出正确方位,且与各种广角镜头的特性较为一致。不同型号的广角镜头的投影图像,能以一个方位坐标模型数学公式来描述。
如图1所示，由于广角图像投影到360°x180°(即经度360°，纬度180°)的等效矩形1104时，无法涵盖等效矩形1104的整个区域，因此有必要补偿无法投影的不足的部分。本发明导入了两种补偿区域(Compensation Region)的投影模式,包括图2A所示的复制投影模式(Duplicate Projection Mode)及图2B所示的镜像投影模式(Mirror ProjectionMode)。如此，可以完整地将广角图像投影到等效矩形作为虚拟现实图像输出,其中镜像投影模式还能提供无接缝输出(Seamless Stitching)。
请参阅图3A与图3B，其中符号1501表示球心、符号1502及1506表示物面、符号1503表示观察方向(View Direction)，亦为法向量、符号1505表示透视投影输出物面(ObjectPlane)上的点、符号1504是符号1505相对于球面上的透视投影点。符号1507表示透视投影观察方向(View Direction)的经纬度、符号1508在垂直中心上的跨越角度表示水平视场角度。本发明还使用前述补偿区域投影的技巧,使用广角图像,加上观察方向1503(也就是符号1507)上的经度、纬度与水平视场角度1508三个参数,来操作沉浸式虚拟现实的方法。重要的是,其操作范围和等效矩形相同,因此,本发明提供了完整的虚拟现实环境。
本发明与其他市面上软件做法不同的是,本发明可以不需图像缝合即能输出等效矩形,也没有将图像压缩等后处理例程。因此,本发明提供了即时操作沉浸式虚拟现实的环境。使用者可以使用一个远端显示装置,直接操作摄像机的广角图像，以输出等效投影图像、地图投影图像及透视投影图像。
本发明还提供了广角图像在方位坐标与圆柱形坐标上投影转换的方法,这些方法也同样适用于沉浸式的操作,可以为广角图像带来更大的乐趣。
本发明所提供的方法,对于虚拟现实图像输出有良好的适应能力。一般来说,广角镜头的视场角度(Field of View Angle)在165°到200°的范围内,不同经纬度的投影分布,都可以获得不错的虚拟现实输出图像。在来源图像方面,也不限定来源广角图像必须是个完整的全圆,也可以是圆角矩形、椭圆形或是个完全涵盖影像传感器的广角图像(即矩形图像)。对于相机,只需搭配合适的广角镜头,都可以使用本发明取得虚拟现实的视频或是图像输出。
图4是本发明一实施例的将广角图像转换成地图投影图像的方法的方块图。请参照图4，本实施例的将广角图像转换成地图投影图像的方法包括以下步骤：首先，如步骤S101所示，取得广角图像。广角图像是指广角镜头所投影的图像。本实施例的广角图像是取自单一图像来源，例如同一台影像撷取装置(如相机)所拍摄的一张或多张广角图像，其中多张广角图像可为连续多张广角图像(即动态图像，或称视频)。
接着，如步骤S102所示，选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像。方位坐标模型符合辐射对称的特性，其经度线在极点方位向(PolarAspect)总是呈现直线。所以,一般来说,总是能保持方位的正确性。方位坐标模型依纬度的分布特性与光学设计各有所不同,常见的有方位等距投影(如图5A所示)、方位立体投影(如图5B所示)及方位直交投影(如图5C所示)等。本实施例的方位坐标模型可为方位等距投影、方位立体投影或方位直交投影，但亦可为其他的方位坐标模型。此外，方位坐标模型并不限定必须是个圆形,也可以以椭圆形呈现(如图5D所示),其特征为在极点方位向(Polar Aspect)上的经度线均呈直线。另外，上述各种方位投影基于接触点(切线或割线)与方位向(Aspect)的基准面可以归类为如图6A所示极点方位向(Polar Aspect)、如图6B所示的赤道方位向(Equatorial Aspect)以及如图6C所示的斜角方位向(ObliqueAspect)。本实施例的方法可以同时适用于赤道方位向、极点方向与斜角方位向。
然后，如步骤S103所示，利用所述方位广角图像制作补偿图像，以制作地图投影图像。详细而言，利用所述方位广角图像制作补偿图像，以制作地图投影图像的步骤例如包含：将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及使用地图投影法，将所述方位广角图像及所述补偿图像共同投影成所述地图投影图像。
所述地图投影图像可以是方位投影图像、圆柱形投影图像、等效矩形图像或其他地图投影图像。以下将地图投影图像是等效矩形图像为例，配合图式来进一步说明将广角图像转换成地图投影图像的方法。请先参照图7A与步骤S101，取得广角图像1101，此广角图像1101例如是全圆广角图像。
接着，请参照图7B与步骤S102，选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像1102。图7B方位坐标模型是以方位等距投影为例，其经度范围例如是介于-90°至90°之间，纬度范围例如是介于-90°至90°之间。
然后，请参照步骤S103，利用所述方位广角图像1102制作补偿图像，以制作等效矩形图像。详细而言，方位广角图像1102的经度范围是180°，由于等效矩形的经度范围是360°，所以方位广角图像1102的经度范围以外的补偿区域的经度范围较佳的是180°，亦即，形成于补偿区域的补偿图像1103(如图7C所示)的经度范围较佳的是180°。接着，使用等效矩形投影法作为上述的地图投影法，将所述方位广角图像1102及所述补偿图像1103共同投影成所述等效矩形图像1104(如图7D所示)，由于方位广角图像1102与补偿图像1103的经度范围都是180°，所以能填满整个等效矩形。在图7C中，符号1105表示方位广角图像1102投影于等效矩形的图像，而符号1106与1107表示补偿图像1103投影于等效矩形的图像。将图7D中的经纬线去除后即得到图7E的等效矩形图像。
上述的补偿图像1103可以是方位广角图像1102的镜像投影图像或是复制投影图像，本实施例是以镜像投影图像为例。令f(λ,Φ)为所述方位广角图像1102投影到地图投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ,Φ)为补偿区域的补偿函数，其中，所述镜像投影图像与所述方位广角图像的关系为:
所述复制投影图像与所述方位广角图像的关系为:
在本实施例的方法中，还可进一步使用f(λ+λ0,Φ)與f′(λ+λ0,Φ)，让图7D的等效矩形图像产生水平方向平移，其中λ0为经度位移角度。
以下将介绍几个的方位坐标模型投影至等效矩形的投影函数，由于这些投影函数是本领域技术人员所熟知，下文不将各种方位坐标模型的投影函数全部列出。
以方位坐标模型是方位等距投影为例，令Φ1及λ0分别为图5A的方位广角图像601投影圆心的参考经度与纬度,由方位广角图像601到图8A的矩形图像602的投影函数可以表示为:
x＝k cos(Φ)cos(λ-λ0) 关系式(3)
y＝k[cosΦ1sin(Φ)-sinΦ1cos(Φ)cos(λ-λ0)] 关系式(4)
其中:
cos(c)＝k[sin(Φ1)sin(Φ)-sin(Φ1)cos(Φ)cos(λ-λ0)] 关系式(6)
“x”与“y”是λ与Φ在直角坐标系(笛卡儿平面,Cartesian coordinate system)上的位置，图8A显示的为λ0＝0且Φ1＝0时的输出结果。
以方位坐标模型是方位立体投影为例，令Φ1与λ0分别为图5B的方位广角图像801投影圆心的经度与纬度,由图5B的方位广角图像801转换到图8B的矩形图像802的投影函数可以表示为:
x＝k cos(Φ)cos(λ-λ0) 关系式(7)
y＝k cos(Φ1)sin(Φ)-sin(Φ1)cos(Φ)cos(λ-λ0) 关系式(8)
其中R可以解释为“本地半径”(Local Radius),Re是赤道线上的半径,是保持外形的纬度，R可以使用下列函数表示:
其中“x”与“y”是λ与Φ在直角座标平面上的位置，而图8B显示的是λ0＝0，且Φ1＝0时的输出结果。
此外，以方位坐标模型是方位直交投影为例，图8C的矩形图像702是由图5C的方位广角图像701所转换的，其中使用λ0＝0且Φ1＝0。
投影函数可以表示为:
x＝cos(Φ)sin(λ-λ0)
y＝cos(Φ1)sin(Φ)-sin(Φ1)cos(Φ)cos(λ0)
其中“x”与“y”是λ与Φ在直角坐标平面上的位置。
以上所举的方位投影均用到如图6B所示的赤道方位向，然而本发明也适用于如图6A的极点方位向与任意角度的斜方位向方向位(如图6C),只需改变λ0與Φ1的参考值即可。
举例来说，图9A的方位广角图像901是使用极点方位向的方位等距投影，图9B显示使用关系式(3)-(6)将方位广角图像901输出成矩形图像902,其中λ0＝0，且Φ1＝90°。
图10A的方位广角图像1001使用斜角方位向的方位等距投影，图10B显示使用关系式(3)-(6)将方位广角图像1001输出成矩形图像1002。其中λ0＝-75°且Φ1＝45°。
由上述可知,本发明可以适用于各种不同的方位坐标模型,只需要取得广角方位图像投影到矩形图像的函数即可。本发明也适用于各种方位坐标模型的方位向，例如图6A至图6C的方位向。
此外，本发明的将广角图像转换成地图投影图像的方法还可包含动态改变地图投影时参考位置的经纬度坐标，取得新的地图投影图像。举例来说，动态更改经度值λ0可以让输出的图像加上360度的水平旋转效果。
图11本发明一实施例的是将方位广角图像转换至等效矩形图像的流程图。请参照图11，如步骤S111，令等效矩形图像上的任意点的经纬度坐标为(λ,Φ)。接着，如步骤S112所示，判断该点的经度λ是否在方位广角图像的经度范围内。如果是的话,则进行步骤S113，直接由方位广角图像找到(λ,Φ)的投影点。另一方面，如步骤S114所示，如果λ超出方位广角图像的经度范围,表示进入补偿区域，此时需选择是否使用镜像投影模式。若否，则表示进行复制投影模式，即进行步骤S115。若是，则进行步骤S116。
图12A至图12E是本发明另一实施例的将广角图像转换成地图投影图像的流程示意图。在本实施例中，图12A至图12E的步骤与上述的图7A至图7E的步骤相似，主要差异处在于图12A的广角图像例如是圆角矩形图像，而非全圆广角图像，此处将不再详细说明图12A至图12E的步骤。此外，因图12A的广角图像例如是圆角矩形(Rounded Rectangle)图像，所以在转换成图12E所示的等效矩形图像后会产生未与广角图像对应的区块。因此，将广角图像转换成地图投影图像的方法还可进一步包含：在图12E的等效矩形图像的纬度Φ为-90°到90°范围中裁切一个垂直方向区段作为圆柱形投影输出。也就是，将图12E中未对应广角图像的区块裁切掉，而得到图12F所示的等效矩形图像。
图13是本发明一实施例的将广角图像转换成地图投影图像的方法的方块图。请参照图13，本实施例的将单张广角图像转换成地图投影图像的方法包括以下步骤：首先，如步骤S201所示，取得广角图像。接着，如步骤S202所示，选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像。步骤S201、S202与前述的步骤S101、S102相似，在此不再详述。
然后，如步骤S203利用所述方位广角图像制作补偿图像，以制作透视投影图像。详细而言，步骤S203例如是将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及使用透视投影法，将所述方位广角图像及所述补偿图像共同投影成所述透视投影图像。
在本实施例中，所述方位广角图像的经度范围例如是180°，所述补偿图像的经度范围例如是180°。此外，所述补偿图像是所述方位广角图像的镜像投影图像或是复制投影图像，令f(λ,Φ)为所述方位广角图像投影到所述透视投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ,Φ)为所述补偿区域的补偿函数，其中所述镜像投影图像与所述方位广角图像的关系可参考上述关系式(1)，而所述复制投影图像与所述方位广角图像的关系可参考上述关系式(2)。另外，所述透视投影法例如是以球心为观察位置(ViewDirection)。
在一实施例中，将广角图像转换成透视投影图像的方法还包含：动态改变透视投影的观察方向的经纬度与水平视场角度)，取得新的透视投影图像。
沉浸式(immersive)虚拟实境是在非物理世界中实际存在一个感知。感知是由围绕虚拟实境系统中的图像，提供使用者创建声音或其他刺激，提供一个引人入胜的总环境。图14A至图14C绘示使用本实施例的将广角图像转换成地图投影图像的方法所输出的三个不同的透视投影图像的示意图。其中符号1602、1606与1608是来自广角图像的投影,符号1603、1605与1609来自补偿区域的投影。
在本实施例中，可以使用下面的子程序(Subroutine)来获取所有方位广角图像投影到透视投影图像上的投影点,其中透视投影图像是用于输出的对象图像投影。在下列的子程序中，height表示输出的透视投影图像的高度(垂直方向上的图像点数)，而width表示输出的透视投影图像的宽度(水平方向上的图像点数)。
上述的λ＝arctan2(α2,γ2)；
Φ＝arctan2(β2,sqrt(abs(α2),abs(γ2)))
如此，可取得每个方位广角图像的透视投影点,通过前述的关系式透过(3)-(10),可以取得(λ,Φ)在直角座标上的实际投影点(x,y)的座标。
本发明所提供的各种方法中,广角图像是取自单一图像来源所拍摄的一张或多张广角图像，且因包含利用方位广角图像来制作补偿图像的步骤，所以不需使用现有技术惯用的将多张图像缝合的手段，如此能轻易实现虚拟现实图像。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (12)

1.一种将广角图像转换成经度范围是完整360度地图投影图像的方法，其特征在于，包含以下步骤：
取得广角图像；
选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像；
将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及
使用地图投影法，将所述方位广角图像及所述补偿图像共同投影成所述地图投影图像。
2.如权利要求1所述的将广角图像转换成地图投影图像的方法，其特征在于，所述方位广角图像的经度范围是180°，所述补偿图像的经度范围是180°。
3.如权利要求1所述的将广角图像转换成地图投影图像的方法，其特征在于，所述补偿图像是所述方位广角图像的镜像投影图像或是复制投影图像，令f(λ，Φ)为所述方位广角图像投影到所述地图投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ，Φ)为所述补偿区域的补偿函数，其中：
所述镜像投影图像与所述方位广角图像的关系为:
所述复制投影图像与所述方位广角图像的关系为:
4.如权利要求3所述的将广角图像转换成地图投影图像的方法，其特征在于，所述地图投影图法为等效矩形投影法，所述地图投影图像为等效矩形图像，所述将广角图像转换成地图投影图像的方法还包含：使用f(λ+γ0，Φ)與f′(λ+λ0，Φ)，让所述等效矩形图像产生水平方向平移，其中λ0为经度位移角度。
5.如权利要求1所述的将广角图像转换成地图投影图像的方法，其特征在于，所述地图投影图法为等效矩形投影法，所述地图投影图像为等效矩形图像，所述将广角图像转换成地图投影图像的方法还包含：在所述等效矩形图像的纬度Φ为-90°到90°范围中裁切一个垂直方向区段作为圆柱形投影输出。
6.如权利要求1所述的将广角图像转换成地图投影图像的方法，其特征在于，还包含：动态改变地图投影时参考位置的经纬度坐标，且经度范围值是不受限制的(-180度,180度)的360度,纬度最大的变动范围是(-90度,90度)取得新的地图投影图像。
7.如权利要求1所述的将广角图像转换成地图投影图像的方法，其特征在于，所选取的方位坐标模型是方位等距投影、方位立体投影或方位直交投影。
8.一种将广角图像转换成经度范围是完整360度透视投影图像的方法，其特征在于，包含以下步骤：
取得广角图像；
选取一种方位坐标模型，并将所述广角图像导入所选取的方位坐标模型，以取得方位广角图像；
将所述方位广角图像的经度范围以外的区域定义为补偿区域，并根据所述方位广角图像在所述补偿区域形成所述补偿图像；以及
使用透视投影法，将所述方位广角图像及所述补偿图像共同投影成所述透视投影图像。
9.如权利要求8所述的将广角图像转换成透视投影图像的方法，其特征在于，所述方位广角图像的经度范围是180°，所述补偿图像的经度范围是180°。
10.如权利要求8所述的将广角图像转换成透视投影图像的方法，其特征在于，所述补偿图像是所述方位广角图像的镜像投影图像或是复制投影图像，令f′(λ，Φ)为所述方位广角图像投影到所述透视投影图像的投影函数，λ与Φ分别代表经度与纬度，f′(λ，Φ)所述补偿区域的补偿函数，其中：
所述镜像投影图像与所述方位广角图像的关系为:
所述复制投影图像与所述方位广角图像的关系为:
11.如权利要求8所述的将广角图像转换成透视投影图像的方法，其特征在于，还包含：动态改变透视投影的观察方向的经纬度与水平视场角度，取得新的透视投影图像。
12.如权利要求7所述的将广角图像转换成透视投影图像的方法，其特征在于，所选取的方位坐标模型是方位等距投影、方位立体投影或方位直交投影。
CN201610317292.0A 2016-05-13 2016-05-13 将广角图像转换成地图投影图像及透视投影图像的方法 Active CN107371011B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610317292.0A CN107371011B (zh) 2016-05-13 2016-05-13 将广角图像转换成地图投影图像及透视投影图像的方法
US15/593,346 US20170332014A1 (en) 2016-05-13 2017-05-12 Method for transforming wide-angle image to map projection image and perspective projection image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610317292.0A CN107371011B (zh) 2016-05-13 2016-05-13 将广角图像转换成地图投影图像及透视投影图像的方法

Publications (2)

Publication Number Publication Date
CN107371011A CN107371011A (zh) 2017-11-21
CN107371011B true CN107371011B (zh) 2019-05-17

Family

ID=60297573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610317292.0A Active CN107371011B (zh) 2016-05-13 2016-05-13 将广角图像转换成地图投影图像及透视投影图像的方法

Country Status (2)

Country Link
US (1) US20170332014A1 (zh)
CN (1) CN107371011B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170091323A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR102589853B1 (ko) * 2016-10-27 2023-10-16 삼성전자주식회사 영상 표시 장치 및 영상 표시 방법
CN112258418A (zh) * 2020-10-29 2021-01-22 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode
US8217956B1 (en) * 2008-02-29 2012-07-10 Adobe Systems Incorporated Method and apparatus for rendering spherical panoramas
CN102013110B (zh) * 2010-11-23 2013-01-02 李建成 三维全景图像生成方法及系统
US9836871B2 (en) * 2012-08-02 2017-12-05 Here Global B.V. Three-dimentional plane panorama creation through hough-based line detection
US10977764B2 (en) * 2015-12-29 2021-04-13 Dolby Laboratories Licensing Corporation Viewport independent image coding and rendering
US9984436B1 (en) * 2016-03-04 2018-05-29 Scott Zhihao Chen Method and system for real-time equirectangular projection

Also Published As

Publication number Publication date
US20170332014A1 (en) 2017-11-16
CN107371011A (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
US9684994B2 (en) Modifying perspective of stereoscopic images based on changes in user viewpoint
US20050219240A1 (en) Horizontal perspective hands-on simulator
TWI397317B (zh) 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
US20050264559A1 (en) Multi-plane horizontal perspective hands-on simulator
US10573060B1 (en) Controller binding in virtual domes
CN106651764B (zh) 一种全景图压缩方法及装置
US20120162384A1 (en) Three-Dimensional Collaboration
EP1740998A2 (en) Horizontal perspective hand-on simulator
CN109416842A (zh) 在虚拟现实和增强现实中的几何匹配
CN106462370A (zh) 基于注视位置的稳定性平面确定
CN109564351A (zh) 混合现实系统
US20060126927A1 (en) Horizontal perspective representation
CN108389249A (zh) 一种多兼容性的vr/ar空间教室及其构建方法
CN106162203A (zh) 全景视频播放方法、播放器与头戴式虚拟现实设备
CN107371011B (zh) 将广角图像转换成地图投影图像及透视投影图像的方法
US20050248566A1 (en) Horizontal perspective hands-on simulator
CN107133918A (zh) 一种在三维场景中任意位置生成全景图的方法
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
CN110506419A (zh) 在虚拟现实中渲染扩展视频
US10740957B1 (en) Dynamic split screen
WO2017124870A1 (zh) 一种处理多媒体信息的方法及装置
Stanney et al. Virtual environments in the 21st century
McMenemy et al. A hitchhiker's guide to virtual reality
Lu et al. An immersive telepresence system using rgb-d sensors and head mounted display
CN110458929A (zh) 一种基于Three.js的室内布景渲染方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant