CN106710000B - 一种基于离散全景图构建连续场景的图像投影方法 - Google Patents

一种基于离散全景图构建连续场景的图像投影方法 Download PDF

Info

Publication number
CN106710000B
CN106710000B CN201611104362.0A CN201611104362A CN106710000B CN 106710000 B CN106710000 B CN 106710000B CN 201611104362 A CN201611104362 A CN 201611104362A CN 106710000 B CN106710000 B CN 106710000B
Authority
CN
China
Prior art keywords
discrete
panorama sketch
continuous
model
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611104362.0A
Other languages
English (en)
Other versions
CN106710000A (zh
Inventor
方志祥
高磊
李灵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201611104362.0A priority Critical patent/CN106710000B/zh
Publication of CN106710000A publication Critical patent/CN106710000A/zh
Application granted granted Critical
Publication of CN106710000B publication Critical patent/CN106710000B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于离散全景图构建连续场景的图像投影方法，若是离散全景图，则使用球体投影模型对单个全景图进行图像投影构建；若是连续视觉场景，则使用圆柱面投影模型对连续视觉场景进行图像投影构建；所述离散全景图与连续视觉场景之间能进行互逆转换，完整的连续视觉场景模型由单个球体投影模型与连续的圆柱面投影模型构成。本发明数据获取简单方便、成本低，模型结构实现简单，模型视觉效果逼真基本保留图片效果，在行人导航中运用方便可以配合定位、定向数据进行场景展示。

Description

一种基于离散全景图构建连续场景的图像投影方法
技术领域
本发明属于虚拟现实技术领域，涉及一种图像投影变换方法，尤其涉及一种基于离散全景图构建连续场景的图像投影方法，是一种行人导航的全景视觉连续引导方式的应用。
背景技术
比较在运用全景图实现虚拟现实技术方面的两种方法，第一种方式在漫游的过程中保留了全景图的全部特性，比如对场景的无死角观察，缩放观察等，但是由于实现连续观察的方式是逐一切换全景图片，这种方式被百度地图，谷歌地图，等普遍采用，目前在图片切换的过程中没有出现很好的过渡方法能够使得场景连续变化，正是视觉上的不连续使全景图在导航中的引导效果大大降低。第二种方法是依据全景图进行场景的三维重建，恢复场景中地物的空间关系，使用的仍然是传统的数字三维技术，虽然这种方式建立的场景可以用于连续漫游但是场景的逼真度远不如全景图的效果好，而且这种方式实现起来难度比较大，场景重建和纹理映射都需要人工参与。这种方式适用于小区域场景的展示或专题展示。
发明内容
本发明主要是解决现有行人导航技术所存在定位引导方式不直观的问题；对于导航引导来说需要一种能够容易得到的既能满足连续场景观察又能够保留一定的照片效果的实景引导方式，鉴于以上两种方法的优势和不足，本发明提出了一种基于离散全景图的连续场景实现方法。
本发明所采用的技术方案是：一种基于离散全景图构建连续场景的图像投影方法，其特征在于：若是离散全景图，则使用球体投影模型对单个全景图进行图像投影构建；若是连续视觉场景，则使用圆柱面投影模型对连续视觉场景进行图像投影构建；所述离散全景图与连续视觉场景之间能进行互逆转换，完整的连续视觉场景模型由单个球体投影模型与连续的圆柱面投影模型构成。
作为优选，所述离散全景图沿道路采集并保持一定的间隔距离。
作为优选，离散全景图，是使用球体投影模型而纹理使用双目鱼眼相机获取。
作为优选，离散全景图，使用OpenGL的建模技术，使用建模软件Sketch Up绘制球体模型并把全景图贴合到球的内表面上，按照obj格式导出模型，之后用Perl脚本解析出顶点数组、法线数组、纹理坐标数组作为原始数据提供给OpenGL。
作为优选，连续视觉场景，圆柱面投影模型中的圆柱面是使用从球体全景图投影变换并拼接后的图片作为纹理。
作为优选，连续视觉场景，圆柱面投影模型中球体模型与圆柱面是外接关系，即球体模型与圆柱面具有相同的半径R，圆柱面模型的实现使用OpenGL建模技术绘制圆柱面并把柱面全景图贴合在圆柱内表面上。
作为优选，所述离散全景图与连续视觉场景之间能进行互逆转换，采用的是横向经线对投影方法，把球面上同一条经线上的像素沿着从球心射出经过该经线的射线方向投影到与球面外接的圆柱面上，投影时经线是成对投影的，经线对关于视线对称；逆转换的过程与展开的原理完全相同只是把像素从圆柱面逆向投影还原到球面的位置。
作为优选，球体投影模型的实现和使用是在iOS平台上，在iOS中使用OpenGL es技术，数据的存储使用SQLite；圆柱面投影模型的实现和使用同样是在iOS平台上，使用OpenGL es技术实现；离散全景图与连续视觉场景的互转换使用Opencv函数库和C++语言编程实现。
本发明具有如下优点：数据获取简单方便、成本低，模型结构实现简单，模型视觉效果逼真基本保留图片效果，在行人导航中运用方便可以配合定位、定向数据进行场景展示。
附图说明
附图1是本发明实施例的一种基于离散全景实现连续视觉场景的示意图。
附图2是本发明实施例的原始图像，转换过程，效果图片，逆向转换效果图。
附图3是本发明实施例的投影原理图。
附图4是本发明实施例的原始球面全景图片。
附图5是本发明实施例中按照横向经线投影方法从球面图像展开到圆柱面图像的效果图。
附图6是本发明实施例中按照横向经线投影方法从圆柱面图像逆向还原到球形全景图像的效果图。
附图7是本发明实施例中还原后的图像用于球形全景的效果图。
附图8是本发明实施例中构建连续场景的模型结构示意图。
附图9是本发明实施例中圆柱面全景效果示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
在导航应用中全景图的采集一般都是沿着可行走路径按照一定的距离进行离散采集的，如图1所示在一段路径上有A、B、C、D四个全景图采集点，设想全景图是一个具有一定半径的球形模型全景图像作为纹理贴合在球的内表面上，人的眼睛也就是观察点设置在球心，通过前面章节的分析这个模型恰好模拟了人眼在真实世界中的视觉效果，如果行人在BD路段上行走，从B点到D点，人眼缓慢移动同时相应的全景球体也伴随运动，设想每个全景球都具有相应位置的场景映射，那么从B到D将会形成一个连续的外接圆柱面，这个柱面的半径与球的半径相同，在球面与圆柱面相切的地方具有相同的图像像素值，这样的话就相当于人在圆柱中行走同时可以连续观察周围的场景，能够满足导航引导过程中的大场景展示、位置标定、路径标识、POI提示和道路两侧环境分析。
基于离散的全景图实现场景的连续化的关键在于图像的投影变换的方法，如图1所示的原理从球心向外做射线，射线与球面的交点为P与柱面的交点为P’按照这样的投影方式把P点处的像素值赋给P’点，投影的过程中尽量保证图像中的地物之间的相邻关系不变，取消了与道路平行方向的透视效果取而代之的是等距投影效果。当行人沿着B->D方向观察时，可以连续观察两侧的场景。在B、D点处仍然保留原来的全景图这样从B点到D点就构成了一个封闭完整的场景，类似有一个胶囊，把这些胶囊在末端处连接起来就实现了场景的连续化漫游，B点表示路口处出现场景交接的地方使用球面模型与圆柱面模型嵌套的方式以保证在路口处视觉效果完整性如图8所示。
为了重点保持图像中建筑物的垂直性现在考虑一种投影方法称之为全景图的横向经线展开模型。所谓横向经线展开是指把球面上同一条经线上的像素沿着从球心射出经过该经线的射线方向投影到与球面外接的圆柱面上，投影时经线是成对投影的，经线对关于视线对称。具体的做法是在投影的过程中目标图像的一次列扫描对应两条经线，这两条经线关于圆柱面的中轴线对称。如图2、图3所示。
这种投影方式具有以下特点：
(1)目标图像的像素在对称线处是不连续的；
(2)图像中取消了沿外接圆柱轴线方向的透视效果，得到的是等距投影的效果；
(3)图像在垂直方向上能够保持基本的垂直效果；
(4)相当于在横向和纵向对原有图像都做了等比例拉伸；
(5)随着原图像上两条经线间夹角的缩小造成投影后远处的图像像素分辨率逐渐降低。
实验示例：
(1)以双目鱼眼相机获得的全景图片为例，输入图像是单个鱼眼获取到的图像，本实验中选用从图幅1/4到3/4出的图像(如图4)。
(2)投影变换过程是从目标图像(展开后的图像)像素坐标(tX，tY)转换到球面坐标(R,L，B)在转换到源图像坐标(x,y)。涉及到的变量有：
R＝球面半径；
C＝球的周长；
投影中满足如下关系：
这里cosθy理解为透视恢复因子(缩放效果)。
图像展开过程的总结与分析；
从投影变换的结果可以得出以下结论(如图5)：
(1)目标图像像素在图幅横向中线出不连续表现为道路面出现拼接缝，同时图像两条横边也不能保持连续，这是由于经线展开本身的特性所导致的；
(2)圆柱面轴向无透视效果；
(3)建筑物基本保持垂直说明模型较为合理，展开图像右侧分辨率降低；
图像还原过程的总结与分析：
(1)如图6所示，还原后的图像与原始图像一致，无明显的图形畸变，同时图像质量优良；
(2)与原始图像相比，还原后的图像丢失了部分内容即图像中的蓝色区域，这是由于按照经线投影的方法，如果完全展开原始图像那么展开图像会无限长，但是随着分辨率的降低，只有靠左侧部分图像是有实际意义的因此存在一个投影截止角，如图中蓝色区域边缘的两条经线所夹的角度就是投影截止角，由于图像是沿着道路方向展开的因此还原后图像中丢失的内容主要是天空和路面，基本不包含关键信息，还原后的图像用于球面全景的效果如图7所示。
(3)之所以在球形全景效果中出现这种哑铃状的图像盲区，是因为横向经线展开的过程中并不是把一条经线上的所有图像信息都保留了下来，而是按照比例cosθy(见公式1)保留了一条经线的中间部分，这是为了消除图像中的透视效果。也是为了统一使用柱面投影模型，如果完全保留每条经线的图像信息，那么展开后的图像将不是矩形而是扇形的那么就要使用类似喇叭口的投影模型而不是圆柱面模型了。
连续全景的运用；
上述过程描述了球形全景图与圆柱面全景图的互转换方法，如图9所示柱面全景中只使用了一幅全景图的展开图片，在实际运用中需要多于2幅的全景展开图经过拼接后才能使用，这是为了使图像分辨率变化差异不至于过大，平衡视觉效果。
本发明的保护范围并不限于连续全景实现方法在行人导航中的运用，通过改变应用的领域可以满足更多的需求。显然，本领域的技术人员可以对本发明进行投影原理和运用方式上的改进而不脱离本发明的范围和精神。倘若这些改动属于发明权利要求及其等同技术的范围内，则发明的意图也包含这些改动在内。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种基于离散全景图构建连续场景的图像投影方法，其特征在于：若是离散全景图，则使用球体投影模型对单个全景图进行图像投影构建；若是连续视觉场景，则使用圆柱面投影模型对连续视觉场景进行图像投影构建；所述离散全景图与连续视觉场景之间能进行互逆转换，完整的连续视觉场景模型由单个球体投影模型与连续的圆柱面投影模型构成；
所述离散全景图与连续视觉场景之间能进行互逆转换，采用的是横向经线对投影方法，把球面上同一条经线上的像素沿着从球心射出经过该经线的射线方向投影到与球面外接的圆柱面上，投影时经线是成对投影的，经线对关于视线对称；逆转换的过程与展开的原理完全相同只是把像素从圆柱面逆向投影还原到球面的位置。
2.根据权利要求1所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：所述离散全景图沿道路采集并保持一定的间隔距离。
3.根据权利要求1所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：离散全景图，是使用球体投影模型而纹理使用双目鱼眼相机获取。
4. 根据权利要求1所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：离散全景图，使用OpenGL的建模技术，使用建模软件Sketch Up 绘制球体模型并把全景图贴合到球的内表面上，按照obj格式导出模型，之后用Perl脚本解析出顶点数组、法线数组、纹理坐标数组作为原始数据提供给OpenGL。
5.根据权利要求1所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：连续视觉场景，圆柱面投影模型中的圆柱面是使用从球体全景图投影变换并拼接后的图片作为纹理。
6.根据权利要求1所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：连续视觉场景，圆柱面投影模型中球体模型与圆柱面是外接关系，即球体模型与圆柱面具有相同的半径R，圆柱面模型的实现使用OpenGL建模技术绘制圆柱面并把柱面全景图贴合在圆柱内表面上。
7. 根据权利要求1-6任意一项所述的基于离散全景图构建连续场景的图像投影方法，其特征在于：球体投影模型的实现和使用是在iOS平台上，在iOS中使用OpenGL es技术，数据的存储使用SQLite；圆柱面投影模型的实现和使用同样是在iOS平台上，使用OpenGL es技术实现；离散全景图与连续视觉场景的互转换使用Opencv函数库和C++语言编程实现。
CN201611104362.0A 2016-12-05 2016-12-05 一种基于离散全景图构建连续场景的图像投影方法 Active CN106710000B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611104362.0A CN106710000B (zh) 2016-12-05 2016-12-05 一种基于离散全景图构建连续场景的图像投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611104362.0A CN106710000B (zh) 2016-12-05 2016-12-05 一种基于离散全景图构建连续场景的图像投影方法

Publications (2)

Publication Number Publication Date
CN106710000A CN106710000A (zh) 2017-05-24
CN106710000B true CN106710000B (zh) 2019-07-09

Family

ID=58934630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611104362.0A Active CN106710000B (zh) 2016-12-05 2016-12-05 一种基于离散全景图构建连续场景的图像投影方法

Country Status (1)

Country Link
CN (1) CN106710000B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107376360B (zh) * 2017-06-19 2021-01-01 深圳市铂岩科技有限公司 游戏直播方法及游戏直播系统
CN111731190B (zh) * 2020-07-24 2022-12-30 展讯通信(天津)有限公司 车载avm的显示方法、系统、电子设备及存储介质
CN114898059A (zh) * 2022-05-24 2022-08-12 北京百度网讯科技有限公司 散点全景图的拓扑方法、装置及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
CN101743569A (zh) * 2007-05-25 2010-06-16 谷歌公司 渲染、查看和注释全景图像及其应用
JP2013077228A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
CN103402052A (zh) * 2007-07-29 2013-11-20 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
JP2015219634A (ja) * 2014-05-15 2015-12-07 株式会社リコー 画像処理プログラム、画像処理方法および画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9984494B2 (en) * 2015-01-26 2018-05-29 Uber Technologies, Inc. Map-like summary visualization of street-level distance data and panorama data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN101743569A (zh) * 2007-05-25 2010-06-16 谷歌公司 渲染、查看和注释全景图像及其应用
CN103402052A (zh) * 2007-07-29 2013-11-20 奈米光子有限公司 利用旋转对称广角透镜获得全景和直线性图像的方法和装置
CN101276465A (zh) * 2008-04-17 2008-10-01 上海交通大学 广角图像自动拼接方法
JP2013077228A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2015219634A (ja) * 2014-05-15 2015-12-07 株式会社リコー 画像処理プログラム、画像処理方法および画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《全景图中投影模型与方法》;田军 等;《计算机系统应用》;20131231;第22卷(第5期);第126-132、192页
《基于特征点的球面全景图快速生成算法》;李松 等;《长春理工大学学报（自然科学版）》;20120930;第35卷(第3期);第75-78页

Also Published As

Publication number Publication date
CN106710000A (zh) 2017-05-24

Similar Documents

Publication Publication Date Title
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
US7131733B2 (en) Method for creating brightness filter and virtual space creation system
CN101606177B (zh) 信息处理方法
TWI397317B (zh) 廣角影像使用圓柱形座標模型並以透視投影法輸出影像的方法
KR100790890B1 (ko) 파노라마 영상 생성장치 및 방법
CN106710000B (zh) 一种基于离散全景图构建连续场景的图像投影方法
CN108876926A (zh) 一种全景场景中的导航方法及系统、ar/vr客户端设备
CN104246795A (zh) 用于超广角透镜图像的自适应透视修正的方法和系统
CN109388455B (zh) 一种基于Opengl es支持多平台的鱼眼图像展开监控方法
CN105137705B (zh) 一种虚拟球幕的创建方法和装置
US20130070094A1 (en) Automatic registration of multi-projector dome images
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN101000461A (zh) 一种鱼眼图像生成立方体全景的方法
CN102096949B (zh) 一种360度数字球幕电影的制作方法
CN102340633A (zh) 一种利用多台摄像机生成鱼眼效果图片的方法
CN103139580A (zh) 一种三维全景空间立体图像生成方法
CN110275179A (zh) 一种基于激光雷达以及视觉融合的构建地图方法
JP2004265396A (ja) 映像生成システム及び映像生成方法
CN101807311A (zh) 一种数字球幕电影的制作方法
JP6682984B2 (ja) 自由視点映像表示装置
CN108564654B (zh) 三维大场景的画面进入方式
CN109461116B (zh) 一种基于opengl的720全景展开监控方法
JP2007013514A (ja) ７２０°全方位矩形画像モニタリングシステム
US20220253975A1 (en) Panoramic presentation methods and apparatuses
CN109272445A (zh) 基于球面模型的全景视频拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant