CN113421315B - 一种基于视图缩放的全景图像空洞填充方法 - Google Patents
一种基于视图缩放的全景图像空洞填充方法 Download PDFInfo
- Publication number
- CN113421315B CN113421315B CN202110704555.4A CN202110704555A CN113421315B CN 113421315 B CN113421315 B CN 113421315B CN 202110704555 A CN202110704555 A CN 202110704555A CN 113421315 B CN113421315 B CN 113421315B
- Authority
- CN
- China
- Prior art keywords
- block
- texture map
- panoramic
- erp
- filled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 238000005070 sampling Methods 0.000 claims abstract description 6
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 4
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视图缩放的全景图像空洞填充方法,包括如下步骤:(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图;(2)ERP格式的全景纹理图的像素随纬度增大而拉伸变形程度增大,对行像素采取权重进行下采样缩放,形成较真实的近似椭圆形的平面纹理图;(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充;(4)对空洞填充后的缩放图扩展反变换到原ERP格式纹理图;(5)将ERP格式纹理图反投影到球面。本发明从三种情况下匹配最佳匹配块对空洞块区域进行填充,在完成空洞填充后,有效提升合成虚拟全景视图的质量。
Description
技术领域
本发明涉及全景图像技术领域,尤其是一种基于视图缩放的全景图像空洞填充方法。
背景技术
全景图像允许观众切换视角,为用户提供身临其境的观看体验,目前,全景图像已广泛应用在影视、教育、工业仿真、医学研究等众多领域。由于球面全景图像与传统图像编解码方式的不兼容,全景图像和传统图像具有相同清晰度的情况下,其像素总量往往是普通图像的3-4倍,因此对传输的带宽消耗巨大。业界主流的解决思路是利用映射关系,将球形图像投影到平面上,对得到的平面图像进行压缩。众多映射格式里,ERP(Equirectangular Projection)格式由于映射关系简单被广泛应用到了目前的全景图像应用中。
由于拍摄条件和网络传输带宽限制,通常情况下无法获得任意视点位置上的全景图像内容,可以利用有限视点的全景图像信息来获得任意视点下的图像内容。基于深度图像的虚拟视点合成技术(DIBR)是预测虚拟视点图像内容的一种最重要的技术。利用3D-warping投影、视图融合、插值等技术可直接快速生成较为真实的虚拟视点处的图像。可以利用ERP格式的全景视图通过DIBR合成不同视角的虚拟视图,最终将虚拟视图反映射到球面上得到球形的虚拟全景视图。
然而,由于场景中物体的遮挡暴露、深度图质量不高、映射时的舍入误差等问题会造成合成的虚拟视图上出现空洞。空洞问题严重影响了合成视图的质量,给用户带来很差的沉浸感和体验感。传统的图像空洞填充算法例如Criminisi算法针对的是普通平面图像,而对于全景图像,由于其映射方式不同于平面图像,已有的空洞填充算法无法直接应用于全景图像,因此需要设计一种适用于全景图像的填充空洞方法。
发明内容
本发明所要解决的技术问题在于,提供一种基于视图缩放的全景图像空洞填充方法,从三种情况下匹配最佳匹配块对空洞块区域进行填充,在完成空洞填充后,有效提升合成虚拟全景视图的质量。
为解决上述技术问题,本发明提供一种基于视图缩放的全景图像空洞填充方法,包括如下步骤:
(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图;
(2)ERP格式的全景纹理图的像素随纬度增大而拉伸变形程度增大,对行像素采取权重进行下采样缩放,形成较真实的近似椭圆形的平面纹理图;
(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充;
(4)对空洞填充后的缩放图扩展反变换到原ERP格式纹理图;
(5)将ERP格式纹理图反投影到球面。
优选的,步骤(2)中,对行像素采取权重进行下采样缩放,形成较真实的近似椭圆形的平面纹理图具体为:从赤道向两极的纬度上对应于ERP视图的行向两边的行像素上赋予越来越大的缩放权重w,w为与行相关的如下计算式:
其中,H为ERP视图的高,i为行数,视图的左上角为原点。
优选的,步骤(3)中,改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充具体包括如下步骤:
(31)从步骤(2)得到的缩放后的纹理图、有待填充的空洞区域、用于样本块匹配的源区域以及由于缩放后在图像四角产生的无效区域;
(32)对于在空洞边界上的点,划定一个以之为中心的n*n的方形块,对该像素点以块为单位计算优先级,将以具有最高优先级的点为中心的方形块作为待填充块;
(33)在源区域进行匹配,找到与待填充块的最佳匹配块;
(34)比较所有情况下的样本块与待填充块的SSD,找到最佳匹配块后,将其填入对应待修复块,完成纹理和结构的传播,每次完成最高优先级块的修复之后,需将改块中像素点对应的置信度更新;
(35)执行填补之后,将刚刚填补的空洞像素块从空洞区域中减去;
(36)不断迭代,直到所有的空洞区域被填充完毕,完成虚拟视图的修复工作。
优选的,步骤(33)中,在源区域进行匹配,找到与待填充块的最佳匹配块具体为:由于球面全景图在映射为ERP格式的图像时会在球面展开的部分把图像上的事物分开到不同位置,而且缩放后的全景图像不是一个规则的矩形平面,所以在进行样本块的匹配时会存在以下三种情况:
第一种情况:样本块完全位于缩放后纹理图中,直接计算待填充块与样本块之间的平方差差SSD;
第二种情况:由于球形全景图存在拼接特性,当样本块位于纹理图的左右边界时,样本块的一部分位于缩放后纹理图当中,另一部分位于无效区域中,利用全景图片的特性,跨越边界选用在缩放后纹理图的另一侧有效区域内容对无效区域进行填充,若跨越左右边界的一个无效区域像素记为p(i,j),其中i,j分别为该像素的行、列索引号(i=0,1,…,H-1;j=0,1,..W-1),那么p(i,j)对应的有效区域像素则为p(i,j′)
对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD;
第三种情况:当样本块位于上下边界区域时,样本块的一部分位于缩放后纹理图当中,另一部分跨越上下边界位于无效区域中,由于球面全景图像在长度上为360度,所以若W为ERP视图的宽度,将ψq中每列缺少多少个像素就按列在相隔W/2列的纹理图中边界处开始取多少个像素,若跨越左右边界的一个无效区域像素记为p(i,j),那么p(i,j)对应的有效区域像素则为p(i′,j′);
若经过上述公式计算后p(i′,j′)跨越了左右边界处于无效区域中,则按第二种种情况寻找水平方向对应的有效像素,对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD。
优选的,步骤(4)中,对空洞填充后的缩放图扩展反变换到原ERP格式纹理图具体为:将空洞填充后的缩放图按行采取权重为上采样反变换到原ERP格式的虚拟全景纹理图,其中,H为ERP视图的高,i为行数,视图的左上角为原点。
本发明的有益效果为:本发明充分利用了球面全景图像和二维平面图像之间的映射关系,通过将ERP格式的全景纹理图进行按行缩放来处理ERP纹理图案在不同位置形变不同的问题,对适用于普通图像空洞填充的Criminisi算法进行改进,分情况讨论处于不同位置的样本块如何对无效区域进行填充形成规则的样本块用于填充,可以较好的填充虚拟全景视图的空洞,提升合成全景视图的质量,给用户带来更好的沉浸感和观看体验。
附图说明
图1为本发明的方法流程示意图。
图2为本发明描述虚拟全景视生成算法示意图。
图3为本发明描述缩放后的全景纹理图示意图。
图4为本发明描述匹配块位于源区域示意图。
图5为本发明描述匹配块跨越纹理图左右边界示意图。
图6为本发明描述匹配块位于两极附近区域示意图。
具体实施方式
如图1所示,一种基于视图缩放的全景图像空洞填充方法,包括如下步骤:
步骤(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图;
按照如图2的生成虚拟视图的算法流程获取虚拟的全景图,然后通过ERP投影为ERP格式的矩形全景纹理图。
具体如下:
对第i行的像素按如下的权重公式进行下采样:
步骤(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充;
步骤(3.1)如图3所示,从步骤(2)得到的缩放后的纹理图包含了用于样本块匹配的源区域、待填充的空洞区域、以及由于缩放造成的四周无效区域。
步骤(3.2)对于在空洞边界上的点,划定一个以之为中心的n*n的方形块,对该像素点以块为单位计算优先级,将以具有最高优先级的点为中心的方形块作为待填充块。如图4、图5、图6中的以p为中心的n*n块ψp为优先级最高的待填充块。
步骤(3.3)在源区域进行匹配,找到与待填充块的最佳匹配块,待填充块与最佳匹配块之间的匹配准则为:
由于球面全景图在映射为ERP格式的图像时会在球面展开的部分把图像上的事物分开到不同位置,而且缩放后的全景图像不是一个规则的矩形平面。所以在进行样本块的匹配时会存在以下三种情况:
第一种情况:如图4所示,以q为中心的n*n大小的样本块ψq完全位于缩放后纹理图中,直接计算待填充块ψp与样本块ψq之间的(Sum of squared difference,简称SSD);
第二种情况:如图5所示,由于球形全景图存在拼接特性,当样本块位于纹理图的左右边界时,样本块的一部分位于缩放后纹理图当中,另一部分位于无效区域中,可以利用全景图片的特性,跨越边界选用在缩放后纹理图的另一侧有效区域内容对无效区域进行填充。若跨越左右边界的一个无效区域像素记为p(i,j),其中i,j分别为该像素的行、列索引号(i=0,1,…,H-1;j=0,1,..W-1),那么p(i,j)对应的有效区域像素则为p(i,j′)
对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD。
第三种情况:如图6所示,当样本块位于上下边界区域时,样本块的一部分位于缩放后纹理图当中,另一部分跨越上下边界位于无效区域中。由于球面全景图像在长度上为360度,所以若W为ERP视图的宽度(总列数),将ψq中每列缺少多少个像素就按列在相隔W/2列的纹理图中边界处开始取多少个像素。若跨越左右边界的一个无效区域像素记为p(i,j),那么p(i,j)对应的有效区域像素则为p(i′,j′)。
若经过上述公式计算后p(i′,j′)跨越了左右边界处于无效区域中,则按第二种种情况寻找水平方向对应的有效像素。对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD。
步骤(3.4)比较所有情况下的样本块与待填充块的SSD,找到最佳匹配块后,将其填入对应待修复块,完成纹理和结构的传播。每次完成最高优先级块ψp的修复之后,需将ψp中像素点对应的置信度更新;
步骤(3.5)执行填补之后,将刚刚填补的空洞像素块从空洞区域减去。
步骤(3.6)不断迭代,直到所有的空洞区域被填充完毕,完成虚拟视图的修复工作。
步骤(5)将ERP格式纹理图反投影到球面。
本发明在对ERP格式的全景图像进行缩放后的区域中,样本块分布有在纹理图内部、跨越纹理图的上下边界、跨越纹理图的左右边界的三种情况,从三种情况下匹配最佳匹配块对空洞块区域进行填充,在完成空洞填充后,有效提升合成虚拟全景视图的质量。
Claims (3)
1.一种基于视图缩放的全景图像空洞填充方法,其特征在于,包括如下步骤:
(1)经过虚拟视图合成得到有空洞的ERP格式的虚拟视点处的全景纹理图;
(2)ERP格式的全景纹理图的像素随纬度增大而拉伸变形程度增大,对行像素采取权重进行下采样缩放,形成较真实的近似椭圆形的平面纹理图;具体为:从赤道向两极的纬度上对应于ERP视图的行向两边的行像素上赋予越来越大的缩放权重w,w为与行相关的如下计算式:
其中,H为ERP视图的高,i为行数,视图的左上角为原点;
(3)改进Criminisi填充算法对缩放后的纹理图上面的空洞进行填充;具体包括如下步骤:
(31)从步骤(2)得到的缩放后的纹理图、有待填充的空洞区域、用于样本块匹配的源区域以及由于缩放后在图像四角产生的无效区域;
(32)对于在空洞边界上的点,划定一个以之为中心的n*n的方形块,对空洞边界上的点以块为单位计算优先级,将以具有最高优先级的点为中心的方形块作为待填充块;
(33)在源区域进行匹配,找到与待填充块的最佳匹配块;
(34)比较所有情况下的样本块与待填充块的SSD,找到最佳匹配块后,将其填入对应待修复块,完成纹理和结构的传播,每次完成最高优先级块的修复之后,需将改块中像素点对应的置信度更新;
(35)执行填补之后,将刚刚填补的空洞像素块从空洞区域中减去;
(36)不断迭代,直到所有的空洞区域被填充完毕,完成虚拟视图的修复工作;
(4)对空洞填充后的缩放图扩展反变换到原ERP格式纹理图;
(5)将ERP格式纹理图反投影到球面。
2.如权利要求1所述的基于视图缩放的全景图像空洞填充方法,其特征在于,步骤(33)中,在源区域进行匹配,找到与待填充块的最佳匹配块具体为:由于球面全景图在映射为ERP格式的图像时会在球面展开的部分把图像上的事物分开到不同位置,而且缩放后的全景图像不是一个规则的矩形平面,所以在进行样本块的匹配时会存在以下三种情况:
第一种情况:样本块完全位于缩放后纹理图中,直接计算待填充块与样本块之间的平方误差和SSD;
第二种情况:由于球形全景图存在拼接特性,当样本块位于纹理图的左右边界时,样本块的一部分位于缩放后纹理图当中,另一部分位于无效区域中,利用全景图片的特性,跨越边界选用在缩放后纹理图的另一侧有效区域内容对无效区域进行填充,若跨越左右边界的一个无效区域像素记为p(i,j),其中i,j分别为该像素的行、列索引号,i=0,1,…,H-1;j=0,1,..W-1,那么p(i,j)对应的有效区域像素则为p(i,j′)
对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD;
第三种情况:当样本块位于上下边界区域时,样本块的一部分位于缩放后纹理图当中,另一部分跨越上下边界位于无效区域中,由于球面全景图像在长度上为360度,所以若W为ERP视图的宽度,将ψq中每列缺少多少个像素就按列在相隔W/2列的纹理图中边界处开始取多少个像素,若跨越左右边界的一个无效区域像素记为p(i,j),那么p(i,j)对应的有效区域像素则为p(i′,j′);
若经过上述公式计算后p(i′,j′)跨越了左右边界处于无效区域中,则按第二种情况寻找水平方向对应的有效像素,对所有无效区域像素用对应的有效区域像素进行替换,得到n*n的方形块,与待填充块之间计算对应非空洞区域像素的SSD。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110704555.4A CN113421315B (zh) | 2021-06-24 | 2021-06-24 | 一种基于视图缩放的全景图像空洞填充方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110704555.4A CN113421315B (zh) | 2021-06-24 | 2021-06-24 | 一种基于视图缩放的全景图像空洞填充方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113421315A CN113421315A (zh) | 2021-09-21 |
CN113421315B true CN113421315B (zh) | 2022-11-11 |
Family
ID=77716799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110704555.4A Active CN113421315B (zh) | 2021-06-24 | 2021-06-24 | 一种基于视图缩放的全景图像空洞填充方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113421315B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248911A (zh) * | 2013-05-20 | 2013-08-14 | 山东大学 | 多视点视频中基于空时结合的虚拟视点绘制方法 |
CN104780355A (zh) * | 2015-03-31 | 2015-07-15 | 浙江大学 | 一种视点合成中基于深度的空洞修复方法 |
CN106060509A (zh) * | 2016-05-19 | 2016-10-26 | 西安电子科技大学 | 引入颜色校正的自由视点图像合成方法 |
CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
-
2021
- 2021-06-24 CN CN202110704555.4A patent/CN113421315B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103248911A (zh) * | 2013-05-20 | 2013-08-14 | 山东大学 | 多视点视频中基于空时结合的虚拟视点绘制方法 |
CN104780355A (zh) * | 2015-03-31 | 2015-07-15 | 浙江大学 | 一种视点合成中基于深度的空洞修复方法 |
CN106060509A (zh) * | 2016-05-19 | 2016-10-26 | 西安电子科技大学 | 引入颜色校正的自由视点图像合成方法 |
CN109712067A (zh) * | 2018-12-03 | 2019-05-03 | 北京航空航天大学 | 一种基于深度图像的虚拟视点绘制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113421315A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI709107B (zh) | 影像特徵提取方法及包含其顯著物體預測方法 | |
US6683608B2 (en) | Seaming polygonal projections from subhemispherical imagery | |
CN108965847B (zh) | 一种全景视频数据的处理方法及装置 | |
CN112543317B (zh) | 高分辨率单目2d视频到双目3d视频的转制方法 | |
JP2004187298A (ja) | パノラマ画像および全方位画像の描画および符号化 | |
WO2020063547A1 (zh) | 球面图像处理方法、装置及服务器 | |
WO2018196682A1 (en) | Method and apparatus for mapping virtual-reality image to a segmented sphere projection format | |
JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
CN110245199A (zh) | 一种大倾角视频与2d地图的融合方法 | |
CN115937482B (zh) | 一种自适应屏幕尺寸的全息场景动态构建方法及系统 | |
CN114549772A (zh) | 基于工程独立坐标系的多源三维模型融合处理方法及系统 | |
CN113038123A (zh) | 无参考全景视频质量评价方法、系统、终端及介质 | |
CN113421315B (zh) | 一种基于视图缩放的全景图像空洞填充方法 | |
CN116363290A (zh) | 一种用于大规模场景三维重建的纹理贴图生成方法 | |
US20090051679A1 (en) | Local motion estimation using four-corner transforms | |
CN116402934A (zh) | 一种面向三维重建的自动纹理贴图方法、终端及存储介质 | |
WO2013021150A1 (en) | Fisheye video correction | |
KR100655465B1 (ko) | 실시간 중간 시점 영상 보간 방법 | |
CN115457182A (zh) | 一种基于多平面图像场景表示的交互视点图像合成方法 | |
CN111556304B (zh) | 一种全景影像处理方法、装置及系统 | |
CN109792490B (zh) | 用于流图像压缩的球面视频的改进的伪圆柱映射 | |
CN114004773A (zh) | 基于深度学习以及反向映射实现的单目多视点视频合成方法 | |
WO2019026183A1 (ja) | 画像生成装置および画像生成方法 | |
JP3149389B2 (ja) | ビットマップ・イメージを環境マップにオーバレイする方法および装置 | |
CN111915740A (zh) | 一种快速的三维图像获取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |