CN108765582B - 一种全景图片显示方法及设备 - Google Patents

一种全景图片显示方法及设备 Download PDF

Info

Publication number
CN108765582B
CN108765582B CN201810403752.0A CN201810403752A CN108765582B CN 108765582 B CN108765582 B CN 108765582B CN 201810403752 A CN201810403752 A CN 201810403752A CN 108765582 B CN108765582 B CN 108765582B
Authority
CN
China
Prior art keywords
projection
image
transformation
display screen
panoramic picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810403752.0A
Other languages
English (en)
Other versions
CN108765582A (zh
Inventor
杨鲁明
徐高峰
朱铄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201810403752.0A priority Critical patent/CN108765582B/zh
Publication of CN108765582A publication Critical patent/CN108765582A/zh
Application granted granted Critical
Publication of CN108765582B publication Critical patent/CN108765582B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

本发明公开了一种全景图片显示方法及设备,用于解决现有技术中存在的非标准尺寸全景图片显示时变形的问题。本发明实施例首先将解码后的全景图片贴图到3D模型上,得到3D全景图像,然后根据解码后的全景图片的宽度和高度,以及显示屏幕的宽度和高度,确定投影变换视锥的宽高比,根据投影变换视锥的宽高比确定投影变换视锥大小,最后将投影变换视锥范围内的3D全景图像显示在显示屏幕上。对于非标准尺寸的全景图片,投影变换视锥的宽高比和显示屏幕的宽高比不一样,则投影变换视锥范围内的3D图像显示到显示屏幕上时,拉伸会被等比例压缩,从而使显示屏幕上的图片的比例和贴图前的图片的比例相同,消除全景图片显示变形的问题。

Description

一种全景图片显示方法及设备
技术领域
本发明涉及图像处理技术领域,特别涉及一种全景图片显示方法及设备。
背景技术
全景图片,又称为全景,通常是指符合人的双眼正常有效视觉(大约水平90度,垂直70度)或包括双眼余光视觉(大约水平180度,垂直90度)以上,乃至360度完整场景范围拍摄的照片。
全景图片的显示有多种方式,如Sphere(球体)、Skybox(天空盒)、Cylinder(圆柱)等,比较常见的是Sphere全景。
Sphere全景显示的基本原理是建立一个球体模型,然后将全景图片贴到球体表面上,最后利用平面显示装置将其显示在屏幕上。由于球体一周的经度是360度,纬度是180度,为了能够将全景图片正常的铺满球体表面,所以全景图片的宽高比例通常为2:1。
如果全景图片的宽高比不是2:1,则将全景图片贴到球体表面上时就会产生变形,最终显示在屏幕上的图片也是变形的图片,如图1所示为非标准比例的全景图片,此全景图片的宽高比大于2:1,则图片贴在球体表面时需要进行纵向拉伸,图1红框中的部分显示在屏幕上时,如图2所示,显示在屏幕上的图片,从图中红框中的部分可以明显的看出图片已经变形。
因此,对于非标准尺寸的全景图片,在显示的过程中存在变形的现象。
发明内容
本发明提供一种全景图片显示方法,用以解决现有技术中存在的非标准尺寸全景图片显示变形的问题。
第一方面,本发明实施例提供的一种全景图片的显示方法,包括:将解码后的全景图片贴图到3D模型上,得到3D全景图像;根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;根据所述投影变换视锥的宽高比确定投影变换视锥范围;将所述投影变换视锥范围内的3D全景图像进行投影处理;将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上。
上述方法,首先将解码后的全景图片贴图到3D模型上,得到3D全景图像,然后根据解码后的全景图片的宽度和高度,以及显示屏幕的宽度和高度,确定投影变换视锥的宽高比,根据投影变换视锥的宽高比确定投影变换视锥大小,最后将投影变换视锥范围内的3D全景图像进行视口变换,以使图像显示在显示屏幕上。由于投影变换视锥的宽高比由解码后的全景图片的宽度和高度,以及显示屏幕的宽度和高度确定,假如贴图到3D模型上的图片有拉伸,此时投影变换视锥的宽高比和显示屏幕的宽高比不一样,则由投影变换视锥宽高比确定的投影变换视锥范围内的3D图像显示到屏幕上时,拉伸会被等比例压缩,则显示到显示屏幕上的图片的比例和贴图前的图片的比例相同。
在一种可能的实现方式中,若在贴图过程中对全景图片的宽高比进行调整,则根据所述投影变换视锥比例和所述显示屏幕的比例,对投影处理得到的图像进行调整,以使调整后的图像在显示屏幕上显示的比例与所述解码后的全景图片的比例相同;将调整后的图像在显示屏幕上显示。
上述方法,假如贴图过程中对全景图片比例进行了调整,则说明贴图后的图片进行了拉伸,图片在进行视口变换将图片显示到显示屏幕上时对拉伸后的图片进行调整,使屏幕上显示的图片的比例和解码后的全景图片比例相同。
在一种可能的实现方式中,将所述投影变换视锥范围内的3D全景图像呈现在投影平面上;将所述投影平面上的图像进行视口变换,以使所述图像显示在显示屏幕上。
上述方法,将3D全景图像转换成2D图片,再将2D图片显示到显示屏幕上。
在一种可能的实现方式中,将所述投影变换视锥范围内的3D全景图像在世界坐标系中的坐标点经过投影变换,得到规范化设备坐标系的坐标点;将所述规范化设备坐标系的坐标点经过视口变换,得到屏幕坐标系的坐标点。
上述方法,3D全景图像的坐标系为世界坐标系,将3D全景图像中的坐标点转换为2D图片的坐标点,并显示到显示屏幕上,首先将世界坐标系的坐标点经过投影变换,得到规范化设备坐标系的坐标点,然后将规范化设备坐标系的坐标点经过视口变换,得到屏幕坐标系的坐标点,最后显示到显示屏幕上。
在一种可能的实现方式中,根据下列公式确定投影变换视锥宽高比:
aspect=(sw/sh)*f
其中,aspect为投影变换视锥宽高比;sw为显示屏幕宽度;sh为显示屏幕高度;f为投影变换视锥宽高比的调整因子。
上述方法,根据显示屏幕的宽度和高度以及解码后全景图片的宽度和高度确定投影变换视锥的宽高比,从而确定投影变换视锥范围。
在一种可能的实现方式中,若全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
若全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
上述方法,因为全景图片的宽高比有小于阈值和不小于阈值两种情况,所以计算投影变换视锥宽高比时,分两种情况确定投影变换视锥宽高比的调整因子f。
第二方面,本发明实施例还提供一种全景图片的显示设备,该设备包括:该设备包括:至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行上述第一方面的各实施例的功能。
第三方面,本发明实施例还提供一种全景图片的显示设备,该设备包括:贴图模块、第一确定模块、第二确定模块和显示模块,该设备具有实现上述第一方面的各实施例的功能。
第四方面,本发明实施例还提供一种计算机存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面所述方法的步骤。
另外,第二方面至第四方面中任一一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果,此处不再赘述。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例非标准比例的全景图片的示意图;
图2为本发明实施例非标准比例全景图片部分显示在显示屏幕上的示意图;
图3为本发明实施例的全景图片示意图;
图4为本发明实施例的全景图片贴到球体表面的示意图;
图5为本发明实施例一种全景图片显示方法的示意图;
图6为本发明实施例球体展开的示意图;
图7为本发明实施例投影视锥的示意图;
图8为本发明实施例投影变换时球体表面可视区域的示意图;
图9为本发明实施例投影变换视锥范围内的物体呈现在投影平面上的结构示意图;
图10为本发明实施例全景图片未拉伸的比例的示意图;
图11为本发明实施全景图片进行拉伸后的比例的示意图;
图12为本发明实施例一种全景图片显示的完整方法示意图;
图13为本发明实施例第一种全景图片显示的设备结构示意图;
图14为本发明实施例第二种全景图片显示的设备结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部份实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
全景技术兴起于上世纪九十年代,最早是单视点全景图,由围绕轴心水平旋转的相机拍摄的多张图像拼接而成,可应用与虚拟旅游、数字展示。此后是条带全景图,由水平移动的相机连续拍摄普通窄视角图像拼接而成,可应用于虚拟旅游、数字地图等场合。由于图像拼接算法复杂程度较高,大部分的拍摄设备无法实现实时处理,只在拍摄简单平移关系照片的少数高端数码相机中实现自动拼接。长时间以来,全景摄像发展滞后,主要难题是在全景视频拼接技术和全景视频播放器的突破问题上。
然而,随着各项技术难题的解决,全景摄像技术也从实验室概念走向市场,世界各大科技公司竞相推出自己全景视频设备,如全景摄像机和虚拟现实眼镜等。全景视频是采用专业全景摄像机进行视频内容的采集,后期通过全景视频拼接软件拼接成一个无缝的“球”,最终输出360度全景视角的球状全景视频,再配合专业的全景视频播放器,外接不同的视频显示设备,来实现动态的真实环境的还原,给受众带来跨越时间和空间的虚拟体验。
全景图片的显示有多种方式,如Sphere(球形)、Skybox(天空盒子)、Cylinder(圆柱)等,比较常见的是Sphere全景。
Sphere全景的基本原理是建立一个球形模型,然后将全景图片贴到球体表面上,将视点设置在球体的球心,通过一块屏幕区域往外看,看到球体的一块区域,将看到的一块区域显示在显示屏幕上,通过对显示屏幕的左右上下滑动,即可观测到整个全景图片。
比如图3所示的全景图片,将图3所示的全景图片贴图到球体上,贴到球体表面为图4所示。
下面结合说明书附图对本发明实施例做进一步详细描述。
本发明实施例提供一种全景图片的显示方法,如图5所示,具体包括以下步骤:
S500、将解码后的全景图片贴图到3D模型上,得到3D全景图像;
S501、根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;
S502、根据所述投影变换视锥的宽高比确定投影变换视锥范围;
S503、对所述投影变换视锥范围内的3D全景图像进行投影处理;
S504、将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上。
首先将解码后的全景图片贴图到3D模型上,得到3D全景图像,然后根据解码后的全景图片的宽度和高度,以及显示屏幕的宽度和高度,确定投影变换视锥的宽高比,根据投影变换视锥的宽高比确定投影变换视锥大小,最后将投影变换视锥范围内的3D全景图像进行视口变换,使图像在显示屏幕上显示。由于投影变换视锥的宽高比由解码后的图片的宽度和高度,以及显示屏幕的宽度和高度确定,假如贴图到3D模型上的图片有拉伸,则投影变换视锥的宽高比和显示屏幕的宽高比不同,则投影变换视锥范围内的3D图像显示到屏幕上时,拉伸会被等比例压缩,从而使显示到显示屏幕上的图片的比例和贴图前的图片的比例相同。
标准尺寸的全景图片的宽高比为2:1,本发明实施例中的图片较长边与较短边的比例接近2:1,如果图片的高度比宽度长,则可以认为是一幅竖立的全景图片。对竖立的全景图片进行旋转后再贴图到3D模型上。
首先对全景图片进行解码,得到全景图片的宽度和高度,将解码后的全景图片贴图到3D模型上,得到3D全景图像。
3D模型可以是球形模型、圆柱模型、正方体模型等,本发明实施例以球形模型为例进行说明。
本发明实施例以球形模型为例,由于球体一周的经度是360度,纬度是180度,如图6所示,所以为了将平面全景图片正常的铺满球体表面,所以全景图片的宽高比为2:1。
将3D模型所在的模型坐标系进行模型转换,得到世界坐标系,因为全景图片贴图到了3D模型上,所以坐标系转换以后,3D全景图像所在的坐标系为世界坐标系。
对全景图片进行贴图时,可以使用纹理贴图,纹理贴图也称纹理映射,是把图片(或者纹理)映射到3D模型上的一个或多个面上。本发明实施例将全景图片纹理映射到球形模型上。
纹理贴图,将解码后的全景图片贴图到3D模型上,由于当前的显示设备大多是2D设备,将3D全景图像显示在2D设备上,则需要进行变换。
首先进行投影变换,将投影变换视锥的宽高比确定的投影变换视锥范围内的3D全景图像呈现到投影平面上,然后再进行视口变换,将投影平面上的图像转换到显示屏幕上,最后在显示屏幕上显示。
需要说明的是,投影变换视锥也就是视锥体,是指场景中摄像机的可见的一个锥体范围。它有上、下、左、右、近、远,共6个面组成。在视锥体内的景物可见,反之则不可见。
如图7所示,组成投影变换视锥的6个裁剪面分别为ABCD、EFGH、AEHD、AEFB、BFGC、CDHF,6个裁剪面围成的范围为投影变换视锥范围。其中平面EFGH为近裁剪面,平面ABCD为远裁剪面。
本发明实施例,需要将球体表面的区域投影到平面上,则需要将近裁剪面设置在球体内部,远裁剪面设置在球体外部,则能够保证球体表面的图像能够投影到投影屏幕上。
如图8所示,图中GF和HG的宽高比即为投影变换视锥的宽高比,图中阴影区域为投影变换视锥范围内的区域,也就是投影变换时的可视区域。
投影变换,通过投影变换视锥来决定场景中哪些物体将可能会呈现在屏幕上,在投影变换视锥范围内的物体会出现在投影平面上,而在投影变换视锥之外的物体不会出现在投影平面上。
如图9所示,球1和球2在投影变换视锥范围内,则球1和球2能够呈现在投影平面上,而球3在投影变换视锥范围外,所以球3不能呈现在投影平面上。
投影变换视锥的宽高比根据解码后全景图片的宽度和高度以及显示屏幕的宽度和高度确定。
具体根据下列公式确定投影变换视锥宽高比:
aspect=(sw/sh)*f
其中,aspect为投影变换视锥宽高比;sw为显示屏幕宽度;sh为显示屏幕高度;f为投影变换视锥宽高比的调整因子。
由于全景图片会有标准和非标准之分,标准全景图片的宽高比定义为阈值,则非标准全景图片分为两种,第一种为全景图片的宽高比小于阈值,第二种为全景图片的宽高比不小于阈值。根据全景图片的宽高比是否小于阈值来确定投影变换视锥宽高比的调整因子f。
如果全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
如果全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
在本发明实施例中,由于是贴图到球形模型上,所以标准尺寸的全景图片的宽高比为2:1,如果贴图到别的模型上,标准尺寸的全景图片也可以是别的比例。
在本发明实施例中,如果贴图过程中全景图片不是2:1的比例,则全景图片需要拉伸。全景图片比例小于2:1,贴图时则需要横向拉伸,全景图片比例大于2:1,贴图时则需要纵向拉伸。将贴图过程中进行的拉伸全景图片在显示到屏幕上时进行等比例压缩时,则显示屏幕上显示出来的图片即为拉伸前的效果,也就是说显示屏幕上显示的图片的比例和解码后全景图片的比例相同。
本发明实施例,以标准尺寸全景图片的宽高比为2:1为例进行说明,也就是说阈值为2:1。
如果全景图片的宽高比小于2:1,则f=(2*ph)/pw;
如果全景图片的宽高比不小于2:1,则f=pw/(2*ph)。
如图10所示,全景图片的宽高比为16:9,使其比例变为2:1,则需要进行横向拉伸,如图11所示,横向拉伸2,使拉伸后的图片符合宽高比为2:1。
拉伸后的图片,横向每一个单位图像只相当于原始图片的16/18的图片。在投影显示时,纵向每一个单位,需要18/16个单位的图像才能保证看到的图像与原始图像形状相同,则校正因子f=18/16。
比如,显示屏幕的宽高比为3/2,解码后全景图片的宽高比为16/9。因为解码后的全景图片的比例小于2:1,则进行纹理贴图时需要对全景图片进行横向拉伸,投影变换视锥宽高比的调整因子f为,f=(2*ph)/pw=9/8。显示屏幕的宽高比为3:2,根据投影变换视锥宽高比公式,aspect=(sw/sh)*f=27/16,则投影变换视锥的宽高比为27:16,也就是说,将横向拉伸后的图片的宽高比为27:16的图片显示在显示屏幕为3:2的显示屏上,使横向拉伸的图片进行横向的等比例压缩,则显示在显示屏幕上图片的比例和拉伸前的图片的比例相同。
由于3D全景图像在世界坐标系中,要将3D全景图像显示在显示屏幕上,则需要对坐标系进行转换。
首先将3D全景图像在世界坐标系中的坐标点进行投影变换,变换为规范化设备坐标系中的坐标点,然后将规范化设备坐标系中的坐标点经过视口变换,变换为屏幕坐标系中的坐标点,最后屏幕坐标系中的坐标点在显示屏幕上显示。
如图12所示,本发明实施例提供的一种全景图片显示的完整方法包括:
步骤1200、建立球形模型;
步骤1201、解码全景图片,获取全景图片的宽和高;
步骤1202、判断解码后的全景图片的宽度是否大于高度,若是,则执行步骤1202,否则,执行步骤1203;
步骤1203、将全景图片旋转90度;
步骤1204、获取orientation(方向)角度信息;
步骤1205、根据获取的orientation(方向)角度信息,自动旋转全景图片或不变,比如orientation为180度,则将全景图片旋转180度;
步骤1206、对全景图片进行纹理贴图;
步骤1207、计算影响因子;
步骤1208、投影变换,计算投影变换视锥宽高比;
步骤1209、根据投影变换视锥宽高比确定投影变换视锥范围,将投影变换视锥范围内的图像呈现到显示屏幕上。
基于同一发明构思,本发明实施例中还提供了一种全景图片显示的设备,由于该设备解决问题的原理与本发明实施例全景图片显示的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图13所示,本发明实施例提供一种全景图片显示的设备,包括:至少一个处理单元1300、以及至少一个存储单元1301,其中,所述存储单元1301存储有程序代码,当所述程序代码被所述处理单元1300执行时,使得所述处理单元1300执行下列过程:
将解码后的全景图片贴图到3D模型上,得到3D全景图像;根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;根据所述投影变换视锥的宽高比确定投影变换视锥范围;对所述投影变换视锥范围内的3D全景图像进行投影处理;将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上。
可选的,所述处理单元1300具体用于:
若在贴图过程中对全景图片的宽高比进行调整,则根据所述投影变换视锥比例和所述显示屏幕的比例,对投影处理得到的图像进行调整,以使调整后的图像在显示屏幕上显示的比例与所述解码后的全景图片的比例相同;将调整后的图像在显示屏幕上显示。
可选的,所述处理单元1300具体用于:
将所述投影变换视锥范围内的3D全景图像呈现在投影平面上;将所述投影平面上的图像进行视口变换,以使所述图像显示在显示屏幕上。
可选的,所述处理单元1300具体用于:
将所述投影变换视锥范围内的3D全景图像在世界坐标系中的坐标点经过投影变换,得到在规范化设备坐标系中的坐标点;将所述规范化设备坐标系中的坐标点投影在所述投影平面上;将在所述投影平面上的所述规范化设备坐标系中的坐标点经过视口变换,得到屏幕坐标系中的坐标点;根据所述屏幕坐标系中的坐标点在所述显示屏幕上显示。
可选的,所述处理单元1300具体用于:
根据下列公式确定投影变换视锥宽高比:
aspect=(sw/sh)*f
其中,aspect为投影变换视锥宽高比;sw为显示屏幕宽度;sh为显示屏幕高度;f为投影变换视锥宽高比的调整因子。
可选的,所述处理单元1300具体用于:
若全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
若全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
基于同一发明构思,本发明实施例中还提供了一种全景图片显示的设备,由于该设备解决问题的原理与本发明实施例全景图片显示的方法相似,因此该设备的实施可以参见方法的实施,重复之处不再赘述。
如图14所示,本发明实施例提供一种图标整理的设备,包括:贴图模块1400、第一确定模块1401、第一确定模块1402和显示模块1403:
贴图模块1400:用于将解码后的全景图片贴图到3D模型上,得到3D全景图像;
第一确定模块1401:用于根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;
第二确定模块1402:用于根据所述投影变换视锥的宽高比确定投影变换视锥范围;
投影模块1403:将根据所述投影变换视锥范围内的3D全景图像进行投影处理;
显示模块1404:将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上。
可选的,所述显示模块1404具体用于:
若在贴图过程中对全景图片的宽高比进行调整,则根据所述投影变换视锥比例和所述显示屏幕的比例,对投影处理得到的图像进行调整,以使调整后的图像在显示屏幕上显示的比例与所述解码后的全景图片的比例相同;将调整后的图像在显示屏幕上显示。
可选的,所述显示模块1404具体用于:
将所述投影变换视锥范围内的3D全景图像呈现在投影平面上;将所述投影平面上的图像进行视口变换,以使所述图像显示在显示屏幕上。
可选的,所述显示模块1404具体用于:
将所述投影变换视锥范围内的3D全景图像在世界坐标系中的坐标点经过投影变换,得到在规范化设备坐标系中的坐标点;将所述规范化设备坐标系中的坐标点投影在所述投影平面上;将在所述投影平面上的所述规范化设备坐标系中的坐标点经过视口变换,得到屏幕坐标系中的坐标点;根据所述屏幕坐标系中的坐标点在所述显示屏幕上显示。
可选的,所述第一确定模块1401具体用于:
根据下列公式确定投影变换视锥宽高比:
aspect=(sw/sh)*f
其中,aspect为投影变换视锥宽高比;sw为显示屏幕宽度;sh为显示屏幕高度;f为投影变换视锥宽高比的调整因子。
可选的,所述第一确定模块1401具体用于:
若全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
若全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
本发明实施例还提供一种计算机可读非易失性存储介质,包括程序代码,当所述程序代码在计算设备上运行时,所述程序代码用于使所述计算设备执行本发明实施例方法中全景图片显示的方法的步骤。
以上参照示出根据本申请实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本申请。应理解,可以通过计算机程序指令来实现框图和/或流程图示图的一个块以及框图和/或流程图示图的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机的处理器和/或其它可编程数据处理装置,以产生机器,使得经由计算机处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。
相应地,还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本申请。更进一步地,本申请可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式,其具有在介质中实现的计算机可使用或计算机可读程序代码,以由指令执行系统来使用或结合指令执行系统而使用。在本申请上下文中,计算机可使用或计算机可读介质可以是任意介质,其可以包含、存储、通信、传输、或传送程序,以由指令执行系统、装置或设备使用,或结合指令执行系统、装置或设备使用。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种全景图片的显示方法,其特征在于,该方法包括:
将解码后的全景图片贴图到3D模型上,得到3D全景图像;
根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;
根据所述投影变换视锥的宽高比确定投影变换视锥范围;
对所述投影变换视锥范围内的3D全景图像进行投影处理;
将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上,其中,所述视口变换用于使显示屏幕上显示的所述图像的比例和所述解码后的全景图片的比例相同。
2.如权利要求1所述的方法,其特征在于,所述将所述投影处理得到的图像进行视口变换,包括:
若在贴图过程中对全景图片的宽高比进行调整,则根据所述投影变换视锥比例和所述显示屏幕的比例,对投影处理得到的图像进行调整,以使调整后的图像在显示屏幕上显示的比例与所述解码后的全景图片的比例相同;
将调整后的图像在显示屏幕上显示。
3.如权利要求1所述的方法,其特征在于,所述对所述投影变换视锥范围内的3D全景图像进行投影处理,包括:
将所述投影变换视锥范围内的3D全景图像呈现在投影平面上;
将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上,包括:
将所述投影平面上的图像进行视口变换,以使所述图像显示在显示屏幕上。
4.如权利要求3所述的方法,其特征在于,将所述投影变换视锥范围内的3D全景图像呈现在投影平面上,包括:
将所述投影变换视锥范围内的3D全景图像在世界坐标系中的坐标点经过投影变换,得到在规范化设备坐标系中的坐标点;
将所述规范化设备坐标系中的坐标点投影在所述投影平面上;
所述将所述投影平面上的图像进行视口变换后显示在显示屏幕上,包括:
将在所述投影平面上的所述规范化设备坐标系中的坐标点经过视口变换,得到屏幕坐标系中的坐标点;
根据所述屏幕坐标系中的坐标点在所述显示屏幕上显示。
5.如权利要求1所述的方法,其特征在于,若全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
若全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
6.一种全景图片的显示设备,其特征在于,该设备包括:该设备包括:至少一个处理单元、以及至少一个存储单元,其中,所述存储单元存储有程序代码,当所述程序代码被所述处理单元执行时,使得所述处理单元执行下列过程:
将解码后的全景图片贴图到3D模型上,得到3D全景图像;根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;根据所述投影变换视锥的宽高比确定投影变换视锥范围;对所述投影变换视锥范围内的3D全景图像进行投影处理;将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上,其中,所述视口变换用于使显示屏幕上显示的所述图像的比例和所述解码后的全景图片的比例相同。
7.如权利要求6所述的设备,其特征在于,所述处理单元具体用于:
若在贴图过程中对全景图片的宽高比进行调整,则根据所述投影变换视锥比例和所述显示屏幕的比例,对投影处理得到的图像进行调整,以使调整后的图像在显示屏幕上显示的比例与所述解码后的全景图片的比例相同;将调整后的图像在显示屏幕上显示。
8.如权利要求6所述的设备,其特征在于,所述处理单元具体用于:
将所述投影变换视锥范围内的3D全景图像呈现在投影平面上;将所述投影平面上的图像进行视口变换,以使所述图像显示在显示屏幕上。
9.如权利要求6所述的设备,其特征在于,所述处理单元具体用于:
将所述投影变换视锥范围内的3D全景图像在世界坐标系中的坐标点经过投影变换,得到在规范化设备坐标系中的坐标点;将所述规范化设备坐标系中的坐标点投影在所述投影平面上;将在所述投影平面上的所述规范化设备坐标系中的坐标点经过视口变换,得到屏幕坐标系中的坐标点;根据所述屏幕坐标系中的坐标点在所述显示屏幕上显示。
10.如权利要求6所述的设备,其特征在于,所述处理单元具体用于:
若全景图片的宽高比小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=(N*ph)/pw
若全景图片的宽高比不小于阈值,则根据下列公式确定投影变换视锥宽高比的调整因子:
f=pw/(N*ph)
其中,f为投影变换视锥宽高比的调整因子;N为阈值;pw为解码后全景图片的宽度;ph为解码后全景图片的高度。
11.一种全景图片的显示设备,其特征在于,该设备用于:
贴图模块:用于将解码后的全景图片贴图到3D模型上,得到3D全景图像;
第一确定模块:用于根据显示屏幕的宽度和高度,以及所述解码后的全景图片的宽度和高度,确定投影变换视锥的宽高比;
第二确定模块:用于根据所述投影变换视锥的宽高比确定投影变换视锥范围;
投影模块:用于将所述投影变换视锥范围内的3D全景图像进行投影处理;
显示模块:用于将所述投影处理得到的图像进行视口变换,以使所述图像显示在显示屏幕上,其中,所述视口变换用于使显示屏幕上显示的所述图像的比例和所述解码后的全景图片的比例相同。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~5任一所述方法的步骤。
CN201810403752.0A 2018-04-28 2018-04-28 一种全景图片显示方法及设备 Active CN108765582B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810403752.0A CN108765582B (zh) 2018-04-28 2018-04-28 一种全景图片显示方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810403752.0A CN108765582B (zh) 2018-04-28 2018-04-28 一种全景图片显示方法及设备

Publications (2)

Publication Number Publication Date
CN108765582A CN108765582A (zh) 2018-11-06
CN108765582B true CN108765582B (zh) 2022-06-17

Family

ID=64008814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810403752.0A Active CN108765582B (zh) 2018-04-28 2018-04-28 一种全景图片显示方法及设备

Country Status (1)

Country Link
CN (1) CN108765582B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599564A (zh) * 2019-09-19 2019-12-20 浙江大搜车软件技术有限公司 图像展示方法、装置、计算机设备和存储介质
CN113096008A (zh) * 2021-03-09 2021-07-09 惠州Tcl移动通信有限公司 一种全景图片的显示方法、显示装置及存储介质
CN113096221A (zh) * 2021-03-09 2021-07-09 惠州Tcl移动通信有限公司 一种全景图片ar显示方法、显示装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
CN102707946A (zh) * 2012-04-17 2012-10-03 Tcl集团股份有限公司 一种应用程序界面的处理方法及装置
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN108958609A (zh) * 2018-07-24 2018-12-07 百度在线网络技术(北京)有限公司 三维全景封面图的生成方法、装置、存储介质和终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105915885A (zh) * 2016-03-02 2016-08-31 优势拓展(北京)科技有限公司 鱼眼图像的3d交互显示方法和系统
CN107134000B (zh) * 2017-05-23 2020-10-23 张照亮 一种融合现实的三维动态图像生成方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486908B1 (en) * 1998-05-27 2002-11-26 Industrial Technology Research Institute Image-based method and system for building spherical panoramas
CN102707946A (zh) * 2012-04-17 2012-10-03 Tcl集团股份有限公司 一种应用程序界面的处理方法及装置
CN105678693A (zh) * 2016-01-25 2016-06-15 成都易瞳科技有限公司 全景视频浏览播放方法
CN108958609A (zh) * 2018-07-24 2018-12-07 百度在线网络技术(北京)有限公司 三维全景封面图的生成方法、装置、存储介质和终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Panorama Based Point Cloud Reduction and Registration;Hamidreza Houshiar 等;《Proceedings of the 16th IEEE International Conference on Advanced Robotics 》;20131130;1-9 *
基于3ds Max和Virtools的虚拟校园漫游系统设计与实现;郭艳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-7554 *

Also Published As

Publication number Publication date
CN108765582A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN106375748B (zh) 立体虚拟现实全景视图拼接方法、装置及电子设备
CN106934772B (zh) 一种全景图像或视频的水平校准方法、系统及便携式终端
US11330172B2 (en) Panoramic image generating method and apparatus
US10373362B2 (en) Systems and methods for adaptive stitching of digital images
JP6764995B2 (ja) パノラマ画像圧縮方法および装置
US20070279415A1 (en) 2D to 3D image conversion
CN108765582B (zh) 一种全景图片显示方法及设备
WO2017128887A1 (zh) 全景图像的校正3d显示方法和系统及装置
US20190266802A1 (en) Display of Visual Data with a Virtual Reality Headset
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN107197135B (zh) 一种视频生成方法及视频生成装置
CN114549289A (zh) 图像处理方法、装置、电子设备和计算机存储介质
WO2017113729A1 (zh) 360度图像加载方法、加载模块及移动终端
US11783445B2 (en) Image processing method, device and apparatus, image fitting method and device, display method and apparatus, and computer readable medium
WO2022017528A1 (zh) 车载avm的显示方法、系统、电子设备及存储介质
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
EP3057316B1 (en) Generation of three-dimensional imagery to supplement existing content
CN112770095B (zh) 全景投影方法、装置及电子设备
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
US11288774B2 (en) Image processing method and apparatus, storage medium, and electronic apparatus
US9807302B1 (en) Offset rolling shutter camera model, and applications thereof
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
JP6901580B2 (ja) パノラマ画像または映像の水平較正方法、システムおよび携帯端末
WO2019157923A1 (zh) 一种环境贴图映射方法及装置
CN112562057A (zh) 三维重建系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266100, No. 218, Bay Road, Qingdao economic and Technological Development Zone, Shandong

Applicant after: Hisense Video Technology Co., Ltd

Address before: 266100 Zhuzhou Road, Laoshan District, Shandong, No. 151, No.

Applicant before: HISENSE ELECTRIC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant