CN105704476B - 一种基于边缘修复的虚拟视点图像频域快速获取方法 - Google Patents
一种基于边缘修复的虚拟视点图像频域快速获取方法 Download PDFInfo
- Publication number
- CN105704476B CN105704476B CN201610024590.0A CN201610024590A CN105704476B CN 105704476 B CN105704476 B CN 105704476B CN 201610024590 A CN201610024590 A CN 201610024590A CN 105704476 B CN105704476 B CN 105704476B
- Authority
- CN
- China
- Prior art keywords
- frequency domain
- light fields
- axles
- edge
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及立体显示像源获取技术，公开了一种基于边缘修复的虚拟视点图像频域快速获取方法，包括：三维光场重建：根据2D图像和景深图建立三维光场矩阵；边缘修复：对三维矩阵的背景层中的空洞区域进行边缘填充；傅里叶切片：对边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息，然后对该频域信息进行特定角度的二维切片，将二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。本发明首次提出三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，另外基于图像修复理论的空洞边缘填充，也使得获取的虚拟视点更加自然。
Description
技术领域
本发明涉及立体显示领域，具体涉及一种基于边缘修复的虚拟视点图像频域快速获取方法。
背景技术
傅里叶切片定理又叫做中心切片定理。它由Bracewell于1956年在对射电天文学进行研究时提出的，它也是医学图像处理的理论基础。该定理的提出为后来在信号处理、图像处理等领域带来了极大的帮助。
三维显示系统将场景的三维信息完全地再现出来，显示具有纵深感的图像。观看者可以直接看出场景中各物体的远近，迅速直观地洞察场景中物体的三维空间关系，从而获得完整和准确的信息。正如声音的记录与再现不断向立体、高保真方向发展一样，图像也从二维向三维、高分辨方向发展。
下一代高分辨率三维显示技术能够完美呈现三维场景中所有物体的位置、角度、颜色、细节特征等丰富信息，具有连续视角和空间深度感，更符合人眼的观看习惯，但是显示所需的数据量需要比现有系统需提高2～3个数量级。巨大的信息量对于复杂场景的高速表征、实时光波场描述和再现系统的空间带宽积提出了更高的要求。因此必须对海量信息的三维显示的像源处理方法就变得尤为重要。
目前行业内所使用的几种方案包括以下几种，其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。另外，对于空洞填充，文献Region Filling and Object Removal by Exemplar-Based ImageInpainting有提到Criminisi算法，但它面对的是整个空洞区域填充，非常耗时。
发明内容
发明目的：解决高分辨率三维显示中高清像源快速获取的问题，本发明公开了一种基于傅里叶中心切片定理和边缘修复的虚拟视点图像快速获取方法。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于边缘修复的虚拟视点图像频域快速获取方法，该方法包括如下步骤：
(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；
(2)边缘修复：对步骤(1)中得到的三维矩阵的背景层中的空洞区域进行边缘填充；
(3)傅里叶切片：对步骤(2)中边缘填充后的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像。
所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值。
所述步骤(2)中采用改进Criminisi算法对三维矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψq表示待填充区域，ψp表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。
所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。
若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。
当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+I(m,n,w+1)*b2。
有益效果：本发明采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，并且虚拟视点的空洞填充边缘更加自然和连续，对未来超高清立体显示提供了技术支持。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。
图1为本发明实施例的流程图；
图2为本发明实施例中三维光场坐标转换示意图；
图3为本发明实施例的原理示意图；
图4为本发明实施例的仿真结果图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述。
传统方法合成多视点，常采用的办法如下。其一，采用3DMAX模拟仿真获取，优点是它可以模拟任意拍摄环境，但是它只能处理虚拟场景。其二，采用相机阵列，优点是它可以它可以拍出立体效果很好的像源，但是其制作成本较高，且操作复杂。还有就是飞利浦采用的像素匹配方案，但是对于高分辨率像源，它的最大问题就是处理时间很长。
本发明采用了三维光场重建与傅里叶中心切片定理相结合的方法，从频域角度快速获取用于立体显示的多视点图像，避免了传统方法所使用的像素匹配，大大提高了处理速度，对未来超高清立体显示提供了技术支持。
如图1所示，本发明实施例公开的一种基于边缘修复的虚拟视点图像快速获取方法，主要包括如下步骤：
S1、三维光场重建。建立一个具有N层的三维矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数。根据景深图，将2D图中对应的像素填充到在三维矩阵的不同层，还原图像真实的相对位置关系。
S2、边缘修复。S1中三维矩阵的背景层中的空洞区域，该区域是由于前景信息被移走，而在背景上留下的空洞。采用改进Criminisi算法进行边缘填充，边缘填充条件为：num(z)为每一层单个空洞区单行域需要填充的像素个数，为该行已经填充的像素个数。当判定条件λ≤num(z)不满足时，该空洞区域填充结束。
S3、傅里叶切片。对S2中边缘填充完的三维矩阵进行快速傅里叶变换(NFFT)，获得三维光场的频域信息Q(m,n,w)，然后对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，且切片大小与2D图片一致。视点图像获取。将S3中得到的二维切片M(a,b)进行傅里叶反变换(IFFT)即得到不同角度的单视点图像P(x,y)。
下面以频域信息M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片为例对本实施例的方法进行详细描述。
首先，以物体的中心点为原点，建立一个三维坐标系P(x,y,z)，如图2所示。那么所要获取切面其实就是H(R,Y,S)，其中R-Y面与X-Y面夹角为θ，两个面同时过Y轴，且大小一致。R-Y面就好比观察者沿着S轴向R-Y面观看物体所看到的真实三维物体遮挡关系。
两个坐标系满足关系：
R＝x*cosθ+z*sinθ；
Y＝y；
S＝-x*sinθ+z*cosθ；
根据景深图，如图3所示，S，E和U三个字母分别具有三种不同的景深值，根据公式：
其中depth为景深值，N为三维矩阵总层数。
将2D图像中的像素按照对应depth值，分别填充到不同z层，每一层对应的(x,y)位置不变。没有数值的地方填0。
上述步骤操作完之后，需要对由于2D图片前景像素移走，而在本层留下的空洞，进行边缘修复填充。实验发现，当小角度切片时，只有很小部分的空洞像素会出现在最后的切片上，所以我们采取的方案是只填充空洞边缘的像素。填充方案为：num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数。当判定条件:
λ≤num(z) (2)
其中，ψq表示待填充区域,ψp表示匹配窗口，SSD为图像相关性算法函数，目的是找出与待填充区域最相似的匹配窗口。当满足条件(1)时，将匹配窗口像素灰度值填充到待填充区域，λ加1。重复该操作，直到不满足条件(2)。
然后，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，则a＝m*cosθ,b＝m*sinθ；若沿着m轴，并与w轴的夹角为θ向n-w面的切片，则a＝n*cosθ,b＝n*sinθ。
上述二维切片M(a,b)中，a为行坐标，b为列坐标，得到M(a,b)时，a按照从1到m整数遍历，每一个a对应n个b，每个b不一定是整数，当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+I(m,n,w+1)*b2。
最后，将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。
下面分别举例说明本发明实施例的虚拟视点图像快速获取方法中的沿傅里叶变换后的三维光场的频域信息的不同轴(m轴和n轴)进行傅里叶切片得到的视觉效果。
示例1：沿n轴切片。根据上述实施例的方法中的S3步骤中，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，此时a＝m*cosθ,b＝m*sinθ；将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。
如图4所示，图4中间的一幅图的夹角θ为0°，S,E和U为正视的时候，它们的位置对应关系。图4上面的一幅夹角为-3°，其中字母S向左偏移，字母E向右偏移，U几乎不变。
图4下面的一幅夹角为3°，其中字母S向右偏移，字母E向左偏移，U几乎不变。
示例2：沿m轴切片。同样，根据上述实施例的方法中的S3步骤中，对填充完的三维矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，对该频域信息进行特定角度的二维切片M(a,b)，M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，此时a＝n*cosθ,b＝n*sinθ；将在特定观看角度θ一定的情况下，对得到的二维切片M(a,b)进行傅里叶反变换，即可得到图2所示的R-Y面，即观看者沿S轴看到三维物体的遮挡关系。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (4)
1.一种基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，该方法包括如下步骤：
(1)三维光场重建：根据2D图像和景深图建立三维光场矩阵P(x,y,z)；
(2)边缘修复：对步骤(1)中得到的三维光场矩阵的背景层中的空洞区域进行边缘填充；
(3)傅里叶切片：对步骤(2)中边缘填充后的三维光场矩阵进行快速傅里叶变换，获得三维光场的频域信息Q(m,n,w)，其中m,n,w轴分别与x,y,z轴对应，然后对该频域信息进行特定角度的二维切片，将所述二维切片进行傅里叶反变换即得到不同指定角度的单视点图像；
所述步骤(1)中根据2D图像和景深图建立三维光场矩阵的方法为：首先建立一个具有N层的三维光场矩阵P(x,y,z)，其中x-y面为2D图像面，z为层数；然后根据景深图，将2D图中对应的像素填充到在三维光场矩阵的不同层；其中，x-y面大小与2D图像大小一致，z与N之间满足公式：其中depth为景深值；
所述步骤(2)中采用改进Criminisi算法对三维光场矩阵的背景层中的空洞区域进行边缘填充，具体为：当满足条件时，将匹配窗口像素灰度值填充到待填充区域，λ加1，重复该操作，直到不满足条件λ≤num(z)；其中，ψq表示待填充区域，ψp表示匹配窗口，num(z)为每一层单个空洞区单行域需要填充的像素个数，λ为该行已经填充的像素个数，SSD为图像相关性算法函数。
2.根据权利要求1所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，所述步骤(3)中的二维切片M(a,b)的大小与2D图像一致，M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，或者沿着m轴，并与w轴的夹角为θ向n-w面的切片，θ为指定的角度。
3.根据权利要求2所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，若M(a,b)为沿着频域信息Q(m,n,w)的n轴，并与w轴的夹角为θ向m-w面的切片，a＝m*cosθ,b＝m*sinθ；若M(a,b)为沿着频域信息Q(m,n,w)的m轴，并与w轴的夹角为θ向n-w面的切片，a＝n*cosθ,b＝n*sinθ。
4.根据权利要求2所述的基于边缘修复的虚拟视点图像频域快速获取方法，其特征在于，当b不为整数时，设频域信息Q(m,n,w)中每个点(m,n,w)的信息为I(m,n,w)，b的整数部分为b1，小数部分为b2，那么实际填充到切片M(a,b)中的信息为I(m,n,w)*(1-b2)+I(m,n,w+1)*b2。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610024590.0A CN105704476B (zh) | 2016-01-14 | 2016-01-14 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610024590.0A CN105704476B (zh) | 2016-01-14 | 2016-01-14 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105704476A CN105704476A (zh) | 2016-06-22 |
| CN105704476B true CN105704476B (zh) | 2018-03-20 |
Family
ID=56226340
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610024590.0A Active CN105704476B (zh) | 2016-01-14 | 2016-01-14 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105704476B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106934110B (zh) * | 2016-12-14 | 2021-02-26 | 北京信息科技大学 | 一种由聚焦堆栈重建光场的反投影方法和装置 |
| CN109242903B (zh) * | 2018-09-07 | 2020-08-07 | 百度在线网络技术（北京）有限公司 | 三维数据的生成方法、装置、设备及存储介质 |
| KR20210050582A (ko) * | 2018-09-27 | 2021-05-07 | 스냅 인코포레이티드 | 스테레오 추출을 사용하는 3차원 장면 인페인팅 |
| CN109360212B (zh) * | 2018-11-02 | 2023-05-09 | 太原科技大学 | 一种可抑制重采样误差的频域光场数字重聚焦算法 |
| CN112489196B (zh) * | 2020-11-30 | 2022-08-02 | 太原理工大学 | 一种多尺度三维频域变换的颗粒物三维形貌重建方法 |
| US11205310B1 (en) * | 2021-03-08 | 2021-12-21 | Htc Corporation | Background skybox constructing method and electronic device |
| CN114067050B (zh) * | 2021-11-15 | 2024-11-08 | 东南大学 | 一种实现高分辨率超宽视场角三维显示的图像格式的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101411207A (zh) * | 2006-04-04 | 2009-04-15 | 三菱电机株式会社 | 采集和显示三维光场的方法和系统 |
| CN102026011A (zh) * | 2009-09-22 | 2011-04-20 | 三星电子株式会社 | 获得光场数据的设备以及处理光场数据的设备和方法 |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN203416336U (zh) * | 2013-05-22 | 2014-01-29 | 李高勤 | 光场摄像装置以及包含该光场摄像装置的成像系统 |
| CN104463949A (zh) * | 2014-10-24 | 2015-03-25 | 郑州大学 | 一种基于光场数字重聚焦的快速三维重建方法及其系统 |
| CN104685860A (zh) * | 2012-09-28 | 2015-06-03 | 派力肯影像公司 | 利用虚拟视点从光场生成图像 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1739977A3 (en) * | 2005-06-27 | 2010-10-20 | Sony Corporation | Three-dimensional image display apparatus |
-
2016
- 2016-01-14 CN CN201610024590.0A patent/CN105704476B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101411207A (zh) * | 2006-04-04 | 2009-04-15 | 三菱电机株式会社 | 采集和显示三维光场的方法和系统 |
| CN102026011A (zh) * | 2009-09-22 | 2011-04-20 | 三星电子株式会社 | 获得光场数据的设备以及处理光场数据的设备和方法 |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN104685860A (zh) * | 2012-09-28 | 2015-06-03 | 派力肯影像公司 | 利用虚拟视点从光场生成图像 |
| CN203416336U (zh) * | 2013-05-22 | 2014-01-29 | 李高勤 | 光场摄像装置以及包含该光场摄像装置的成像系统 |
| CN104463949A (zh) * | 2014-10-24 | 2015-03-25 | 郑州大学 | 一种基于光场数字重聚焦的快速三维重建方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| 一种基于光场成像的数字对焦算法;梁欣，等;《核电子学与探测技术》;20150520;第35卷(第5期);全文 * |
| 基于改进Criminisi算法的图像修复;李爱菊，等;《计算机工程与应用》;20140915;第50卷(第18期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105704476A (zh) | 2016-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105704476B (zh) | 一种基于边缘修复的虚拟视点图像频域快速获取方法 | |
| US7557824B2 (en) | Method and apparatus for generating a stereoscopic image | |
| US9270977B2 (en) | 3D photo creation system and method | |
| US7643025B2 (en) | Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates | |
| CN101635859B (zh) | 一种实现平面视频转立体视频的方法和装置 | |
| US20150002636A1 (en) | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras | |
| DE112016004216T5 (de) | Allgemeine Sphärische Erfassungsverfahren | |
| CN101808251B (zh) | 立体图像对中遮挡信息的提取方法 | |
| CN105224288B (zh) | 双目三维图形渲染方法及相关系统 | |
| CN102075694A (zh) | 用于视频制作、后期制作和显示适应的立体编辑 | |
| US10609353B2 (en) | Systems and methods for generating and displaying stereoscopic image pairs of geographical areas | |
| US20130027389A1 (en) | Making a two-dimensional image into three dimensions | |
| US9196080B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| US10033990B2 (en) | Digital multi-dimensional image photon platform system and methods of use | |
| CN108076208B (zh) | 一种显示处理方法及装置、终端 | |
| CN104301706B (zh) | 一种增强裸眼立体显示效果的合成方法 | |
| EP1668919B1 (en) | Stereoscopic imaging | |
| CN101697597A (zh) | 产生3d影像的方法 | |
| CN108848365B (zh) | 一种重定位立体图像质量评价方法 | |
| Liu et al. | An enhanced depth map based rendering method with directional depth filter and image inpainting | |
| KR101121979B1 (ko) | 입체 영상 변환 방법 및 입체 영상 변환 장치 | |
| KR101754976B1 (ko) | 적층형 홀로그램용 콘텐츠 변환방법 및 변환장치 | |
| US10277880B2 (en) | 3D system including rendering with variable displacement | |
| CN103400339B (zh) | 3d地贴的制作方法 | |
| CN105447812A (zh) | 一种基于线状阵列的三维活动图像显示及信息隐藏方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |