CN106780310A - 一种投影图构建方法及装置 - Google Patents
一种投影图构建方法及装置 Download PDFInfo
- Publication number
- CN106780310A CN106780310A CN201611187138.2A CN201611187138A CN106780310A CN 106780310 A CN106780310 A CN 106780310A CN 201611187138 A CN201611187138 A CN 201611187138A CN 106780310 A CN106780310 A CN 106780310A
- Authority
- CN
- China
- Prior art keywords
- pixel
- cylinder
- panoramic pictures
- area chart
- equirectangular panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 39
- 238000004040 coloring Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
- G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请提供了一种投影图构建方法及装置，投影图构建方法包括：采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图；获取柱面等面积投影图中各个像素点的二维坐标；得到柱面等面积投影图中各个像素点在equirectangular全景图像中的二维坐标；利用equirectangular全景图像中每个像素点的颜色信息和柱面等面积投影图中各个像素点在equirectangular全景图像中的二维坐标，对柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。在本申请中，通过以上方式能够降低全景图像或视频的分辨率和码率。
Description
技术领域
本申请涉及图像处理领域，特别涉及一种投影图构建方法及装置。
背景技术
近年来，随着Google jump，OZO，eyesir，teche，极图等全景相机拍摄和oculusVR，Samsung Gear VR,HTC vive等先进VR显示设备的推出，全景视频成为技术研发和产品内容创新的热点，广泛应用于虚拟影院，全景游戏，全景教育，全景医疗，全景旅游等众多领域。
全景视频通常要求在4K以上的超高分辨率拍摄，才能在播放器中清晰的显示出用户观看的局部视角内容。其中，由于4K以上超高分辨率视频具有3840×1920以上海量像素，因此给全景视频的存储，压缩，传输，解码，和渲染带来了大数据量的挑战。面对大数据量的挑战，如何减少全景视频的分辨率和码率，成为全景视频必须解决的紧要问题之一。
发明内容
为解决上述技术问题，本申请实施例提供一种投影图构建方法及装置，以达到降低全景图像或视频的分辨率和码率的目的，技术方案如下：
一种投影图构建方法，包括：
采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图；
获取所述柱面等面积投影图中各个像素点的二维坐标；
对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
优选的，所述对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，包括：
利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
其中，x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
优选的，利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图包括：
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用双线性插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
优选的，利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图包括：
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用样板条插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
一种投影图构建装置，包括：
投影模块，用于采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图；
第一获取模块，用于获取所述柱面等面积投影图中各个像素点的二维坐标；
转换模块，用于对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
第一生成模块，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
优选的，所述转换模块包括：
转换单元，用于利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
其中，x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
优选的，所述第一生成模块包括：
第一生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用双线性插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
优选的，所述第一生成模块包括：
第二生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用样板条插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
与现有技术相比，本申请的有益效果为：
在本申请中，equirectangular全景图像作为目前全景图像或视频的存储格式，因其相同的纹理在极点附近所占的面积大于其在赤道附近的面积，导致全景图像或视频的分辨率高，码率较大，为了降低全景图像或视频的分辨率和码率，不再将equirectangular全景图像作为全景图像或视频的存储格式，而是将柱面等面积投影变换后的全景图作为全景图像或视频的存储格式。
将柱面等面积投影变换后的全景图作为全景图像或视频的存储格式，能够降低全景图像或视频的分辨率和码率的原因在于：采用柱面等面积投影模型对equirectangular全景图像进行投影，首先保证赤道附近的纹理不产生形变，或者形变很小，保证全景图像或视频的清晰度，投影得到的柱面等面积投影图相比于equirectangular全景图像，两极处的纹理在y轴方向被进一步压缩，保证两极处的纹理和赤道附近的纹理的面积一样，降低像素插值后得到的柱面等面积投影变换后的全景图，从而降低全景图像或视频的分辨率和码率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的投影图构建方法的一种流程图；
图2是本申请提供的equirectangular全景图像的一种示意图；
图3是本申请提供的柱面等面积投影图的一种示意图；
图4(a)是equirectangular全景图像的坐标系，图4(b)是用经纬度表示的球面全景图的球面坐标系；
图5是本申请提供的投影图构建装置的一种逻辑结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
请参见图1，其示出了本申请提供的投影图构建方法的一种流程图，可以包括以下步骤：
步骤S11：采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图。
equirectangular全景图像为球面全景图(即全景图像或视频)的存储格式。其中，equirectangular全景图像与球面全景图的对应关系为：
为球面全景图的球面坐标，(x,y)为equirectangular全景图像的图像坐标。
其中，equirectangular在本实施例中的中文表示为等距矩形投影。
球面全景图转由equirectangular全景图像格式存储时，得到的equirectangular全景图像请参见图2，如图2所示，equirectangular全景图像的变形规律为两极处的圆形水平拉伸成了椭圆，即equirectangular的采样导致了极点附近的纹理被水平拉伸，即同样的纹理，极点附近所占的面积大于该纹理在赤道附近的面积。如图2所示的equirectangular全景图像的变形规律，导致球面全景图(即全景图像或视频)的分辨率高，码率较大。
为了减小和修正极点处的形变，从而降低球面全景图(即全景图像或视频)的分辨率和码率，本申请采用柱面等面积投影模型对equirectangular全景图像进行投影。
其中，采用柱面等面积投影模型对equirectangular全景图像进行投影，可以降低球面全景图(即全景图像或视频)的分辨率和码率的原理如下：
采用柱面等面积投影模型对equirectangular全景图像进行投影，得到的柱面等面积投影图请参见图3，如图3所示，柱面等面积投影图的变形规律为equirectangular全景图像中的两极处圆形在y轴方向被进一步压缩。柱面等面积投影图的变形规律保证了球面全景图中二维采样(球面弧度采样)的均匀性，使两极处的圆形的面积和赤道中心的圆的面积一样，从而降低了球面全景图(即全景图像或视频)的分辨率和码率。
其中，采用柱面等面积投影模型对equirectangular全景图像进行投影，两极处的纹理在y轴方向被进一步压缩，虽然导致了极点附近的清晰度有所下降，但是在绝大多数情况下，全景视频或图像的观看热点都在赤道附近，因此很多应用下对观看效果的影响不大。
采用柱面等面积投影模型对equirectangular全景图像进行投影具体为：
采用柱面等面积投影公式对equirectangular全景图像进行投影。
公式中的x为柱面等面积投影图的横坐标，y为等面积投影图的纵坐标，λ为球面全景图中的球面横坐标，为球面全景图中的球面纵坐标，为输入参数，用于指定柱面等面积投影图像的宽高比。
由于可以通过设定的大小，来改变柱面等面积投影图像的宽高比，因此可以自定义柱面等面积投影图像的大小。
步骤S12：获取所述柱面等面积投影图中各个像素点的二维坐标。
在得到柱面等面积投影图之后，需要对柱面等面积投影图进行像素填充，以得到完整的柱面等面积投影变换后的全景图，而对柱面等面积投影图进行像素填充首先需要将柱面等面积投影图的坐标系转换为equirectangular全景图像的坐标系，从而在原始球面全景图中找到柱面等面积投影图中每个坐标对应的像素值，具体执行过程则为步骤S12至步骤S14。
步骤S13：对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标。
步骤S14：利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
在本申请中，equirectangular全景图像作为目前全景图像或视频的存储格式，因其相同的纹理在极点附近所占的面积大于其在赤道附近的面积，导致全景图像或视频的分辨率高，码率较大，为了降低全景图像或视频的分辨率和码率，不再将equirectangular全景图像作为全景图像或视频的存储格式，而是将柱面等面积投影变换后的全景图作为全景图像或视频的存储格式。
将柱面等面积投影变换后的全景图作为全景图像或视频的存储格式，能够降低全景图像或视频的分辨率和码率的原因在于：采用柱面等面积投影模型对equirectangular全景图像进行投影，首先保证赤道附近的纹理不产生形变，或者形变很小，保证全景图像或视频的清晰度，投影得到的柱面等面积投影图相比于equirectangular全景图像，两极处的纹理在y轴方向被进一步压缩，保证两极出的纹理和赤道附近的纹理的面积一样，降低像素插值后得到的柱面等面积投影变换后的全景图，从而降低全景图像或视频的分辨率和码率。
其中，采用柱面等面积投影模型对equirectangular全景图像进行投影，两极处的纹理在y轴方向被进一步压缩，虽然导致了极点附近的清晰度有所下降，但是在绝大多数情况下，全景视频或图像的观看热点都在赤道附近，因此很多应用下对观看效果的影响不大。
在本实施例中，对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标的过程具体可以为：
利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标。
其中，公式中的x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
其中，公式的生成过程，具体为：
获取球面全景图到柱面等面积投影图的投影公式公式中的x为柱面等面积投影图的横坐标，y为柱面等面积投影图的纵坐标，λ为球面全景图中的球面横坐标，为球面全景图中的球面纵坐标，为输入参数，用于指定柱面等面积投影图像的宽高比；
获取equirectangular全景图像和球面全景图的球面坐标的转换关系式中的m,n分别为equirectangular全景图像的高和宽，x为equirectangular全景图像中像素点的横坐标，y为equirectangular全景图像中像素点的纵坐标；
equirectangular全景图像和球面全景图的球面坐标的转换关系可以参见图4(a)和图4(b)，图4(a)是equirectangular全景图像的坐标系，图4(b)是用经纬度表示的球面全景图的球面坐标系。
对所述球面全景图到柱面等面积投影图的投影公式和所述equirectangular全景图像和球面全景图的球面坐标的转换关系式进行数学推导，得到公式
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图的过程，具体为：
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用插值算法(可以为现有的任意插值算法，如双线性插值算法或样板条插值算法)，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
实施例二
与上述方法实施例相对应，本实施例提供了一种投影图构建装置，请参见图5，投影图构建装置包括：投影模块51、第一获取模块52、转换模块53和第一生成模块54。
投影模块51，用于采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图。
第一获取模块52，用于获取所述柱面等面积投影图中各个像素点的二维坐标。
转换模块53，用于对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标。
第一生成模块54，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
在本实施例中，转换模块53具体包括：转换单元，用于利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
其中，x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
在本实施例中，投影图构建装置还包括：第二获取模块、第三获取模块和第二生成模块。
第二获取模块、第三获取模块和第二生成模块，用于生成公式
第二获取模块，用于获取球面全景图到柱面等面积投影图的投影公式x为柱面等面积投影图的横坐标，y为柱面等面积投影图的纵坐标，λ为球面全景图中的球面横坐标，为球面全景图中的球面纵坐标，为输入参数，用于指定柱面等面积投影图像的宽高比。
第三获取模块，用于获取equirectangular全景图像和球面全景图的球面坐标的转换关系式m,n分别为equirectangular全景图像的高和宽，x为equirectangular全景图像中像素点的横坐标，y为equirectangular全景图像中像素点的纵坐标。
第二生成模块，用于对所述球面全景图到柱面等面积投影图的投影公式和所述equirectangular全景图像和球面全景图的球面坐标的转换关系式进行数学推导，得到公式
在本实施例中，第一生成模块54具体可以包括：第一生成单元或第二生成单元。
第一生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用双线性插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
第二生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用样板条插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种投影图构建方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (8)
1.一种投影图构建方法，其特征在于，包括：
采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图；
获取所述柱面等面积投影图中各个像素点的二维坐标；
对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
2.根据权利要求1所述的方法，其特征在于，所述对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，包括：
利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
其中，x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
3.根据权利要求1所述的方法，其特征在于，利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图包括：
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用双线性插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
4.根据权利要求1所述的方法，其特征在于，利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图包括：
利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用样板条插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
5.一种投影图构建装置，其特征在于，包括：
投影模块，用于采用柱面等面积投影模型对equirectangular全景图像进行投影，得到柱面等面积投影图；
第一获取模块，用于获取所述柱面等面积投影图中各个像素点的二维坐标；
转换模块，用于对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
第一生成模块，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
6.根据权利要求5所述的装置，其特征在于，所述转换模块包括：
转换单元，用于利用公式对获取到的柱面等面积投影图中各个像素点的二维坐标进行坐标系转换，得到所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标；
其中，x是像素点在所述equirectangular全景图像中的二维横坐标，y是像素点在所述equirectangular全景图像中的二维纵坐标，u为像素点在柱面等面积投影图中的横坐标，v为像素点在柱面等面积投影图中的纵坐标，m、n分别为所述equirectangular全景图像的高和宽，π为圆周率。
7.根据权利要求5所述的装置，其特征在于，所述第一生成模块包括：
第一生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用双线性插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
8.根据权利要求5所述的装置，其特征在于，所述第一生成模块包括：
第二生成单元，用于利用所述equirectangular全景图像中每个像素点的颜色信息和所述获取到的柱面等面积投影图中各个像素点在所述equirectangular全景图像中的二维坐标，采用样板条插值算法，对所述柱面等面积投影图进行像素插值，生成柱面等面积投影变换后的全景图。
Priority Applications (10)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611187138.2A CN106780310B (zh) | 2016-12-20 | 2016-12-20 | 一种投影图构建方法及装置 |
| US16/311,649 US10991068B2 (en) | 2016-12-20 | 2017-08-30 | Projection image construction method and device |
| JP2019533268A JP7010952B2 (ja) | 2016-12-20 | 2017-08-30 | 投影画像構築方法及び装置 |
| CA3028863A CA3028863C (en) | 2016-12-20 | 2017-08-30 | Projection image construction method and device |
| MYPI2018002695A MY201632A (en) | 2016-12-20 | 2017-08-30 | Projection image construction method and device |
| PCT/CN2017/099686 WO2018113339A1 (zh) | 2016-12-20 | 2017-08-30 | 一种投影图构建方法及装置 |
| AU2017383979A AU2017383979B2 (en) | 2016-12-20 | 2017-08-30 | Projection image construction method and device |
| KR1020197002235A KR102327972B1 (ko) | 2016-12-20 | 2017-08-30 | 프로젝션 이미지 구성 방법 및 디바이스 |
| EP17884562.4A EP3561762A4 (en) | 2016-12-20 | 2017-08-30 | PROJECTION IMAGE CONSTRUCTION METHOD AND DEVICE |
| TW106134207A TWI635461B (zh) | 2016-12-20 | 2017-10-03 | 投影圖構建方法及裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611187138.2A CN106780310B (zh) | 2016-12-20 | 2016-12-20 | 一种投影图构建方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106780310A true CN106780310A (zh) | 2017-05-31 |
| CN106780310B CN106780310B (zh) | 2020-11-24 |
Family
ID=58894256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611187138.2A Active CN106780310B (zh) | 2016-12-20 | 2016-12-20 | 一种投影图构建方法及装置 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10991068B2 (zh) |
| EP (1) | EP3561762A4 (zh) |
| JP (1) | JP7010952B2 (zh) |
| KR (1) | KR102327972B1 (zh) |
| CN (1) | CN106780310B (zh) |
| AU (1) | AU2017383979B2 (zh) |
| CA (1) | CA3028863C (zh) |
| MY (1) | MY201632A (zh) |
| TW (1) | TWI635461B (zh) |
| WO (1) | WO2018113339A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018113339A1 (zh) * | 2016-12-20 | 2018-06-28 | 北京奇艺世纪科技有限公司 | 一种投影图构建方法及装置 |
| CN108230454A (zh) * | 2017-12-28 | 2018-06-29 | 瑞庭网络技术（上海）有限公司 | 一种全景图片的切图方法、装置及存储介质 |
| CN111091491A (zh) * | 2019-12-20 | 2020-05-01 | 知鱼科技丹阳有限公司 | 一种等距圆柱投影的全景视频像素再分配方法及系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111954054B (zh) * | 2020-06-05 | 2022-03-04 | 筑觉绘(上海)科技有限公司 | 图像处理方法、系统、存储介质及计算机设备 |
| JP2023154169A (ja) * | 2022-04-06 | 2023-10-19 | キヤノン株式会社 | 画像処理装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080074500A1 (en) * | 1998-05-27 | 2008-03-27 | Transpacific Ip Ltd. | Image-Based Method and System for Building Spherical Panoramas |
| CN101639621A (zh) * | 2009-08-04 | 2010-02-03 | 厦门力鼎光电技术有限公司 | 以圆柱型模式或透视模式输出影像的方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN104392201A (zh) * | 2014-09-28 | 2015-03-04 | 燕山大学 | 一种基于全向视觉的人体跌倒识别方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6459451B2 (en) | 1996-06-24 | 2002-10-01 | Be Here Corporation | Method and apparatus for a panoramic camera to capture a 360 degree image |
| US6043837A (en) | 1997-05-08 | 2000-03-28 | Be Here Corporation | Method and apparatus for electronically distributing images from a panoptic camera system |
| TW358189B (en) | 1998-01-15 | 1999-05-11 | Ind Tech Res Inst | A field-surrounding image simulation real-time play system and method |
| TW413796B (en) | 1998-06-25 | 2000-12-01 | Ind Tech Res Inst | A method and system for establishing environment image |
| CN100390666C (zh) | 2004-12-17 | 2008-05-28 | 上海杰图软件技术有限公司 | 基于圆鱼眼或鼓形图像快速生成高清晰度全景的智能化方法 |
| JP4403421B2 (ja) | 2006-08-17 | 2010-01-27 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| KR100882011B1 (ko) | 2007-07-29 | 2009-02-04 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치 |
| KR100988872B1 (ko) * | 2009-07-08 | 2010-10-20 | 주식회사 나노포토닉스 | 회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서 |
| CN102831626B (zh) * | 2012-06-18 | 2014-11-26 | 清华大学 | 极地投影模式下多变量时空数据的可视化方法 |
| JP6172432B2 (ja) | 2013-01-08 | 2017-08-02 | 日本電気株式会社 | 被写体識別装置、被写体識別方法および被写体識別プログラム |
| CN105550984B (zh) | 2015-12-30 | 2019-04-12 | 北京奇艺世纪科技有限公司 | 一种鱼眼图像校正和漫游显示的方法及装置 |
| US20170302714A1 (en) * | 2016-04-15 | 2017-10-19 | Diplloid Inc. | Methods and systems for conversion, playback and tagging and streaming of spherical images and video |
| US11042962B2 (en) * | 2016-04-18 | 2021-06-22 | Avago Technologies International Sales Pte. Limited | Hardware optimisation for generating 360° images |
| CN106056531B (zh) | 2016-05-13 | 2019-07-16 | 杭州当虹科技股份有限公司 | 一种360度全景视频球面展开到平面的显示方法 |
| CN105933707B (zh) | 2016-06-30 | 2019-02-22 | 北京奇艺世纪科技有限公司 | 一种全景视频的压缩方法及装置 |
| US10148939B2 (en) * | 2016-07-19 | 2018-12-04 | Gopro, Inc. | Mapping of spherical image data into rectangular faces for transport and decoding across networks |
| CN106127681B (zh) | 2016-07-19 | 2019-08-13 | 刘牧野 | 一种图像采集方法、虚拟现实图像传输方法及显示方法 |
| CN106780310B (zh) * | 2016-12-20 | 2020-11-24 | 北京奇艺世纪科技有限公司 | 一种投影图构建方法及装置 |
| US10614609B2 (en) * | 2017-07-19 | 2020-04-07 | Mediatek Inc. | Method and apparatus for reduction of artifacts at discontinuous boundaries in coded virtual-reality images |
-
2016
- 2016-12-20 CN CN201611187138.2A patent/CN106780310B/zh active Active
-
2017
- 2017-08-30 JP JP2019533268A patent/JP7010952B2/ja active Active
- 2017-08-30 EP EP17884562.4A patent/EP3561762A4/en active Pending
- 2017-08-30 KR KR1020197002235A patent/KR102327972B1/ko active IP Right Grant
- 2017-08-30 MY MYPI2018002695A patent/MY201632A/en unknown
- 2017-08-30 AU AU2017383979A patent/AU2017383979B2/en active Active
- 2017-08-30 US US16/311,649 patent/US10991068B2/en active Active
- 2017-08-30 WO PCT/CN2017/099686 patent/WO2018113339A1/zh unknown
- 2017-08-30 CA CA3028863A patent/CA3028863C/en active Active
- 2017-10-03 TW TW106134207A patent/TWI635461B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080074500A1 (en) * | 1998-05-27 | 2008-03-27 | Transpacific Ip Ltd. | Image-Based Method and System for Building Spherical Panoramas |
| CN101639621A (zh) * | 2009-08-04 | 2010-02-03 | 厦门力鼎光电技术有限公司 | 以圆柱型模式或透视模式输出影像的方法 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| CN104392201A (zh) * | 2014-09-28 | 2015-03-04 | 燕山大学 | 一种基于全向视觉的人体跌倒识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 孟俊贞: "克里金插值近似网格算法在栅格数据投影变换中的应用", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
| 李孟奇: "基于全景图的虚拟现实的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018113339A1 (zh) * | 2016-12-20 | 2018-06-28 | 北京奇艺世纪科技有限公司 | 一种投影图构建方法及装置 |
| US10991068B2 (en) | 2016-12-20 | 2021-04-27 | Beijing Qiyi Century Science & Technology Co., Ltd. | Projection image construction method and device |
| CN108230454A (zh) * | 2017-12-28 | 2018-06-29 | 瑞庭网络技术（上海）有限公司 | 一种全景图片的切图方法、装置及存储介质 |
| CN108230454B (zh) * | 2017-12-28 | 2021-09-28 | 瑞庭网络技术（上海）有限公司 | 一种全景图片的切图方法、装置及存储介质 |
| CN111091491A (zh) * | 2019-12-20 | 2020-05-01 | 知鱼科技丹阳有限公司 | 一种等距圆柱投影的全景视频像素再分配方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7010952B2 (ja) | 2022-02-10 |
| CA3028863C (en) | 2022-03-29 |
| CA3028863A1 (en) | 2018-06-28 |
| AU2017383979A1 (en) | 2019-01-24 |
| KR20190021394A (ko) | 2019-03-05 |
| US10991068B2 (en) | 2021-04-27 |
| TW201824176A (zh) | 2018-07-01 |
| MY201632A (en) | 2024-03-06 |
| US20190340726A1 (en) | 2019-11-07 |
| TWI635461B (zh) | 2018-09-11 |
| CN106780310B (zh) | 2020-11-24 |
| EP3561762A4 (en) | 2019-12-11 |
| JP2019526875A (ja) | 2019-09-19 |
| EP3561762A1 (en) | 2019-10-30 |
| WO2018113339A1 (zh) | 2018-06-28 |
| AU2017383979B2 (en) | 2020-02-27 |
| KR102327972B1 (ko) | 2021-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780310A (zh) | 一种投影图构建方法及装置 | |
| US11631155B2 (en) | Equatorial stitching of hemispherical images in a spherical image capture system | |
| CN104301677B (zh) | 面向大场景的全景视频监控的方法及装置 | |
| US10595004B2 (en) | Electronic device for generating 360-degree three-dimensional image and method therefor | |
| TWI619091B (zh) | 全景圖壓縮方法及裝置 | |
| CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及系统 | |
| CN106934772B (zh) | 一种全景图像或视频的水平校准方法、系统及便携式终端 | |
| CN103729610B (zh) | 一种二维码聚焦显示方法及系统 | |
| US10681272B2 (en) | Device for providing realistic media image | |
| CN204090039U (zh) | 一体化大场景全景视频监控装置 | |
| CN107454468A (zh) | 对沉浸式视频进行格式化的方法、装置和流 | |
| CN104246795A (zh) | 用于超广角透镜图像的自适应透视修正的方法和系统 | |
| CN102521586B (zh) | 一种用于拍照手机的高分辨率三维人脸扫描方法 | |
| CN106875331B (zh) | 一种全景图像的非对称映射方法 | |
| CN105210374B (zh) | 利用图像特征对频率提高超分辨率的控制 | |
| CN107105218B (zh) | 一种视场画面图像生成方法及装置 | |
| CN105630436B (zh) | 一种多屏共享下桌面布局的数据共享方法和装置 | |
| CN104200476A (zh) | 利用双平面镜装置中的圆周运动求解摄像机内参数的方法 | |
| CN110458960A (zh) | 一种基于偏振的彩色物体三维重建方法 | |
| WO2017193729A1 (zh) | 一种将镜头图像展开为全景图像的方法及装置 | |
| CN101807311A (zh) | 一种数字球幕电影的制作方法 | |
| CN111080523A (zh) | 红外周视搜索系统及基于角度信息的红外周视图像拼接方法 | |
| Shete et al. | Real-time panorama composition for video surveillance using GPU | |
| CN106791578A (zh) | 基于鱼眼全景摄像机的视频会议实现方法 | |
| CN108040241A (zh) | 一种球面全景视频转换为柱面全景视频的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1234191 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |