CN105488771A - 光场图像编辑方法及装置 - Google Patents

光场图像编辑方法及装置 Download PDF

Info

Publication number
CN105488771A
CN105488771A CN201510945488.XA CN201510945488A CN105488771A CN 105488771 A CN105488771 A CN 105488771A CN 201510945488 A CN201510945488 A CN 201510945488A CN 105488771 A CN105488771 A CN 105488771A
Authority
CN
China
Prior art keywords
visual angle
image
centre
subimage
subimages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510945488.XA
Other languages
English (en)
Other versions
CN105488771B (zh
Inventor
胡事民
张方略
王珏
周子晔
石佳希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201510945488.XA priority Critical patent/CN105488771B/zh
Publication of CN105488771A publication Critical patent/CN105488771A/zh
Application granted granted Critical
Publication of CN105488771B publication Critical patent/CN105488771B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种光场图像编辑方法及装置，该方法包括：将目标场景的中心视角图像进行分层处理；分别生成多幅中心视角第二子图像的层结构蒙版，进而根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像，以获取第二中心视角图像；根据多幅中心视角第二子图像的表观特征确定多幅其他视角第二子图像的表观特征，以获取多幅其他视角第三子图像；将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。本发明可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，进一步拓展了消费级的光场相机的应用范围。

Description

光场图像编辑方法及装置
技术领域
本发明涉及光场图像处理技术领域，尤其涉及一种光场图像编辑方法及装置。
背景技术
光场相机(又称全光相机)近年来得到了快速的发展与普及，显示出了推进整个摄影领域技术革新的强大潜力。这种相机一般采用微型镜片阵列来捕捉场景的四维光场信息，重构出了包含有不同角度拍摄的同一场景表观特征的全光图像(PlenopticImage)。由于它包含有内在的三维结构关联性信息，光场数据提供了传统二维图像所不能完成的后期处理效果，如视点的变换和重对焦等。
光场相机的硬件发展非常迅速，目前市面上新推出的Lytro、PiCam和Raytrix几种消费级的光场相机产品都开始渐渐流行。相比于大型光场采集设备，消费级光场相机中的微镜头阵列具有很小的角度变化范围，使得同一个场景点在不同视角下呈现出基本一致的表观特征。虽然现有技术提出了一些在有限范围内进行光场图像编辑的方法，如光场超分辨、光场变形、视角合成和内容缩放等，但这些技术方案却并不完善。
相比之下，现有的二维图像的编辑技术方案则比较完善，有的技已经可以实现图像补全、内容重排等等。而光场数据由于可以看作是同一场景在不同角度拍摄的图像集合，其不同视角间的数据存在着高度的内部结构关联性，因而无法直接将现存的二维图像的编辑方法应用在光场图像数据中。因此，如何针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑成为了亟待解决的技术问题之一。
发明内容
为解决上述技术问题，本发明一方面提出了一种光场图像编辑方法，该方法包括：
将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值之前，该方法还包括：
利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
优选地，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，包括：
根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
优选地，所述根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，包括：
对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
优选地，所述对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法进行平滑处理之后，该方法还包括：
对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
另一方面，本方法还提供了一种光场图像编辑装置，该装置包括：
中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
优选地，该装置还包括：
多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
优选地，所述中心视角第一子图像获取单元，进一步用于根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
优选地，所述中心视角第一子图像获取单元，进一步用于对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
优选地，所述中心视角第一子图像获取单元，进一步用于对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例的光场图像编辑方法的流程图；
图2示出了本发明另一个实施例的光场图像编辑方法的效果图；
图3示出了本发明另一个实施例的光场图像编辑方法的效果图；
图4示出了本发明一个实施例的光场图像编辑装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明一个实施例的光场图像编辑方法的流程图；如图1所示，该方法包括：
S1：将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
S2：根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
S3：根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
S4：根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
S5：根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
S6：根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
S7：根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
S8：根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
S9：根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
本实施例的基于片匹配的光场图像编辑方法步骤简单、思路清晰、易于实现，可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，改善了光场图像编辑的效果与质量。
在此基础上，步骤S1之前，该方法还包括：
S0：利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
作为本实施例的优选，步骤S1包括：
S11：根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
进一步地，步骤S11中根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，包括：
S111：对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
进一步地，上述对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法进行平滑处理之后，该方法还包括：
S112：对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
图2示出了本发明一个实施例的光场图像编辑装置的结构框图。如图2所示，该装置包括：
中心视角第一子图像获取单元11，用于将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
中心视角第二子图像获取单元12，用于根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
层结构蒙版生成单元13，用于根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
中心视角第三子图像获取单元14，用于根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
第二中心视角图像获取单元15，用于根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
其他视角第一子图像获取单元16，用于根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
其他视角第二子图像获取单元17，用于根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
其他视角第三子图像获取单元18，用于根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
第二其他视角图像获取单元19，用于根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
作为本实施例的优选，该装置还包括多视角光场图像获取单元10，用于利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
在此基础上，中心视角第一子图像获取单元10，可进一步用于根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
进一步地，中心视角第一子图像获取单元10还可进一步用于对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
作为本实施的优选，中心视角第一子图像获取单元10进一步用于对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
本实施例所述的装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。
下面具体说明本发明的基于片匹配的光场图像编辑方法和装置的具体应用过程。
本实施例中，首先将一个四维的光场L(x,y,u,v)用一个二维的图像阵列I(u,v)来表示，每个图像都假设是由单个相机从视角(u,v)拍摄得到，而图像I(u,v)的像素(x,y)的值等于L(x,y,u,v)。本方法具体流程如下：
1、光场图像的分层处理
本实施例对于获取的光场图像采用了根据视差(深度)进行的层次结构表示方法，该方法是将光场所包含的场景看作由一系列定义在中心视角I(0,0)的内容层叠加而成的，即这些内容层均具有带有透明度的软性边界。
首先，本实施例用代价体滤波方法计算中心视角I(0,0)各点的深度值：
在场景中有预设数量L(例如L＝32)个深度层，每个层l都有一个唯一对应的视差值dl，对于中心视角图像的每个像素p，其被分配到l层的代价定义如下式：
C p l = Σ ( u , v ) I | | I p ′ ( u , v ) - I p ( 0 , 0 ) | | , - - - ( 1 )
p′＝p+dl×(u,v)
其中，为中心视角图像的像素p被分配到l层的代价值；Ip′(u,v)为视角坐标为(u,v)的图像中像素p′的像素值，其中p′和p的视差值为dl，Ip(0,0)为中心视角的像素p的值；。
通过这种方法，作者在(x,y,l)三维空间构建出了一个代价体。因为每个像素的代价都是分别计算得到，所以这样构建的代价体可能会有很多噪音。未解决该问题，本实施例采用边界敏感的图像指导滤波(guidedimagefiltering，半径为9)方法，以平滑整个代价体，进而可以确定每个像素属于哪个深度层l由下式得到：
L p = arg min l C p l , - - - ( 2 )
其中，Lp为像素p的所处的深度层；为式(1)中的中心视角图像的像素p被分配到l层的代价值。
进一步地，由于这样产生的分层结果会产生硬性边界(即不带有透明度信息)，为了得到不同层之间无缝的融合效果，本实施例采用进一步的软性边界生成方法；在每个深度层上再次应用图像指导滤波方法(用较小的半径4)，就能够产生类似于alpha-抠图方法的透明度提取效果，每个层蒙版上的像素值都在0到1之间，进而图像就可以由这些层以不同的透明度融合起来得到。
具体地，图3示出了本发明另一个实施例的光场图像编辑方法的效果图；如图3所示，本实施例要实现的编辑效果是将遮挡住较大花朵的小花的一部分去除掉。而在输入光场数据后，由用户输入深度层，即在中心视角I(0,0)图像中选中要删除的图像区域，然后对该图像进行分层处理，并判断待删除区域所影响到的层。然后利用上述方法合成各层图形的蒙版，以根据所生成的蒙版区域形状进行表观特征合成，最后将完成表观特征合成的图像进行合并，即完成了中心视角I(0,0)图像的编辑工作。特别地，由图3右上角的六变形点阵列中的被选中原点位置即表明当前所编辑图像为中心视角I(0,0)图像。
需要说明的是，在每一层的软性边界区域，采用每一层内部的颜色值外推得到，因为假设在物体边缘的颜色是一致的(即在大花所在层上，该大花边缘的颜色由花本体的颜色决定，而非背景颜色)，这也是在图像抠取和融合技术中的常用假设。在颜色外推扩展后的层将作为后续步骤中进行基于片的合成算法的基础。
2、基于层结构的合成
为了更好的解释这一方法框架，首先假设用户在中心视角图像上圈出了一块区域w以进行物体移除。给定用户输入后，层l(w)和所有被其遮挡的层都被认为是该操作的相关层，按视差以降序排列(视差越大即可视为离镜头越近)。为了填补w，针对每个相关层均需要重构出区域w中的那部分原本被前景物体遮挡的内容，即需要合成：
(1).层蒙版—在蒙版图像上，将像素的透明度转化为该像素的灰度值(即将表示透明度的数值乘以255，其中表示透明度的数值例如为0～1)；
(2).层内每个像素的表观特征。
本实施例采用多尺度的基于片的合成策略在用户标记的区域w中合成层蒙版，具体如下：
w之外的层蒙版区域将作为源蒙版，这部分区域在编辑过程中保持不变，将整个的区域蒙版(包括w)作为待补全的目标蒙版。然后对两者都建立起高斯金字塔，第n级需要先找到w(n)中所包含的层蒙版区域的边界像素。具体来说，为了获取属于洞边界区域的像素p，需在w之外的区域中查找与Nt(p)最相似的片Ns(q)，将二者相似度(距离)定义如下：
D m ( N t ( p ) , N s ( q ) ) = Σ i ∈ N | | M s ( i ) - M t ( i ) | | , - - - ( 3 )
其中，N(p)为以p为中心的局部片记作N(p)，当N(p)既包含了在层蒙版中的像素和不在层蒙版上的像素时，p即被认为属于边界区域；其中下标s表示在原始图像中，下标t表示该片在待编辑的目标图像中。Ms和Mt分别为目前待编辑的图像的层蒙版和原始图像的层蒙版。
重复进行该过程，直到所有的边界像素被填充。而对于剩余的未填充像素(即包含于边界内部的像素)，设处在边界内部的透明度为1，外部的则设其透明度为0。特别地，本实施例的源蒙版及新和成部分均具有软性边界。
在此基础上，上述合成的层蒙版定义了当前层在目标区域中的内容形状，下面将根据这一形状进行表观特征的合成，目标是使合成后的As与At的距离最小：
D ( A t , A s ) = Σ p ∈ | M t | min q ∈ | M s | D a ( N t ( p ) , N s ( q ) ) , - - - ( 4 )
其中，Nt(p)为目标区域中的p像素位置的局部片；Ns(q)为源图像中的某q像素位置的局部片；D为编辑前后图像的表观特征距离；Da为局部片的颜色特征距离，q为源图像中的某一待运算像素位置。
本实施例中，同一层上各像素的表观特征可能随着空间的变化而有很大的不同，尤其是在边界区域上。因此，对于需要合成的w中的边界区域，使用同样来自于原图该层的边界部分的颜色值进行合成。为此，在设计片表观特征的距离度量函数时，还考虑了蒙版的相似度：
Da(Nt(p),Ns(q))＝α||Ns(q)-Nt(p)||+(1-α)Dm(Ns(q),Nt(p))，(5)
其中，α为平衡因子，优选地设为0.5。本实施例采用多尺度片合成方法来解这一优化问题：
最粗略层次的目标区域将采用随机初始化的偏移量值；
在更精细的层次，偏移量值将使用上一层的偏移量来进行初始化，给定偏移量图之后，w区域就可以采用像素投票策略来生成，从而得到了该层的合成结果。
3、基于层结构的全视角光场生成
在中心视角图像的各个深度层次合成之后，下面介绍如何将该编辑传播(Editpropagation)到所有其他视角图像上，并保持其他视角图像与中心视角图像的表观特征及其深度的一致性。为了使合成的结果看起来更自然，本实施例并未选择直接从I(u,v)复制像素值到其他的视角上。对于I(0,0)中每个被编辑的像素p，算法记录下了每个合成位置的采用的片s(p)与当前坐标的偏移量(这个偏移量是片匹配合成方法记录下来的)然后利用该偏移量，在I(u,v)本身寻找对应的片，然后用对应片的颜色来编I(u,v)中p的对应像素。换句话说，这个偏移量的传播过程保证了：1.I(u,v)是用来自于本身的像素值来编辑的；2.I(u,v)中所进行的编辑与I(0,0)和其他视角上是完全一致的。事实上，这种方法是用了4维空间的光场数据局部“块”来生成的新内容。需要注意的是，该传播过程需要按照合成层的顺序从后往前进行，以防止不同深度物体的遮挡关系被破坏。图4示出了本发明另一个实施例的光场图像编辑方法的效果图。如图4所示，本实施例的方法可以实现光场数据的图像补全、内容重排等等，其实施过程与上述实施例基本相同，在此不做赘述。
本发明的基于片匹配的光场图像编辑方法和装置可针对消费级的光场相机所拍摄的光场图像进行结构保持的光场图像编辑，满足了人们日益增长的对消费级的光场相机所拍摄的光场图像进行编辑的需求，进一步拓展了消费级的光场相机的应用范围。
以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种光场图像编辑方法，其特征在于，包括：
将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
2.如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值之前，该方法还包括：
利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
3.如权利要求1所述的光场图像编辑方法，其特征在于，所述将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，包括：
根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
4.如权利要求3所述的光场图像编辑方法，其特征在于，所述根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，包括：
对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
5.如权利要求4所述的光场图像编辑方法，其特征在于，所述对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法进行平滑处理之后，该方法还包括：
对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
6.一种光场图像编辑装置，其特征在于，包括：
中心视角第一子图像获取单元，用于将目标场景的中心视角图像进行分层处理，以获取每个所述预设视差值对应的中心视角第一子图像，并确定每幅所述中心视角第一子图像对应的视差值，所述中心视角图像为所述目标场景的光场图像中中心视角对应的图像；
中心视角第二子图像获取单元，用于根据所述中心视角图像中的预设删除区域在多个所述中心视角第一子图像中确定受到所述预设删除区域影响的多幅中心视角第二子图像；
层结构蒙版生成单元，用于根据所述预设删除区域分别生成所述多幅中心视角第二子图像的层结构蒙版；
中心视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的层结构蒙版生成所述多幅中心视角第二子图像的表观特征，以根据该多幅中心视角第二子图像的表观特征获取所述多幅中心视角第二子图像对应的多幅中心视角第三子图像；
第二中心视角图像获取单元，用于根据所述多个预设视差值将所述多幅中心视角第三子图像进行合成处理，以获取第二中心视角图像；
其他视角第一子图像获取单元，用于根据所述多个预设视差值将目标场景的其他视角图像进行分层处理，以获取每个所述预设视差值对应的其他视角第一子图像，所述其他视角图像为所述目标场景的光场图像中除所述中心视角之外的视角对应的图像；
其他视角第二子图像获取单元，用于根据所述预设删除区域在多个所述其他视角第一子图像中确定受到所述预设删除区域影响的多幅其他视角第二子图像；
其他视角第三子图像获取单元，用于根据所述多幅中心视角第二子图像的表观特征确定所述多幅其他视角第二子图像的表观特征，以根据该多幅其他视角第二子图像的表观特征获取所述多幅其他视角第二子图像对应的多幅其他视角第三子图像；
第二其他视角图像获取单元，用于根据所述多个预设视差值将所述多幅其他视角第三子图像进行合成处理，以获取第二其他视角图像。
7.如权利要求6所述的光场图像编辑装置，其特征在于，该装置还包括：
多视角光场图像获取单元，用于利用消费级光场相机获取所述目标场景的多视角光场图像，所述多视角光场图像包括所述中心视角图像和所述其他视角图像。
8.如权利要求6所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取单元，进一步用于根据预设分层数量N并通过代价体滤波costvolumefiltering方法确定所述目标场景的中心视角图像中每个像素的视差值最优解，以根据所述每个像素的视差值最优解将所述每个像素分别划分到对应的所述中心视角第一子图像中，并确定每幅所述中心视角第一子图像对应的视差值。
9.如权利要求8所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取单元，进一步用于对每幅所述中心视角第一子图像均通过图像指导滤波guidedimagefiltering方法以第一预设滤波半径进行平滑处理。
10.如权利要求9所述的光场图像编辑装置，其特征在于，所述中心视角第一子图像获取单元，进一步用于对每幅经过平滑处理的所述中心视角第一子图像再次通过图像指导滤波guidedimagefiltering方法以第二预设滤波半径进行软性边界处理，所述第二预设滤波半径的数值小于所述第一预设滤波半径。
CN201510945488.XA 2015-12-16 2015-12-16 光场图像编辑方法及装置 Active CN105488771B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510945488.XA CN105488771B (zh) 2015-12-16 2015-12-16 光场图像编辑方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510945488.XA CN105488771B (zh) 2015-12-16 2015-12-16 光场图像编辑方法及装置

Publications (2)

Publication Number Publication Date
CN105488771A true CN105488771A (zh) 2016-04-13
CN105488771B CN105488771B (zh) 2018-08-28

Family

ID=55675737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510945488.XA Active CN105488771B (zh) 2015-12-16 2015-12-16 光场图像编辑方法及装置

Country Status (1)

Country Link
CN (1) CN105488771B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303275A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法
CN110520768A (zh) * 2017-06-05 2019-11-29 上海科技大学 高光谱光场成像方法和系统
CN110892706A (zh) * 2017-06-12 2020-03-17 交互数字Ce专利控股公司 用于在2d显示设备上显示从光场数据导出的内容的方法
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111489407A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 光场图像编辑方法、装置、设备及存储介质
CN112136153A (zh) * 2018-04-19 2020-12-25 上海科技大学 基于光场的反射消除
US11589034B2 (en) 2017-06-12 2023-02-21 Interdigital Madison Patent Holdings, Sas Method and apparatus for providing information to a user observing a multi view content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204663A1 (en) * 2004-05-26 2008-08-28 Tibor Balogh Method And Apparatus For Generating 3D Images
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080204663A1 (en) * 2004-05-26 2008-08-28 Tibor Balogh Method And Apparatus For Generating 3D Images
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王碧云: ""基于微透镜阵列的全景图像技术研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
阮龙: ""基于微透镜型光场成像数据获取及深度信息提取研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303275A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法
CN110520768A (zh) * 2017-06-05 2019-11-29 上海科技大学 高光谱光场成像方法和系统
CN110520768B (zh) * 2017-06-05 2021-10-22 上海科技大学 高光谱光场成像方法和系统
CN110892706A (zh) * 2017-06-12 2020-03-17 交互数字Ce专利控股公司 用于在2d显示设备上显示从光场数据导出的内容的方法
US11202052B2 (en) 2017-06-12 2021-12-14 Interdigital Ce Patent Holdings, Sas Method for displaying, on a 2D display device, a content derived from light field data
US11589034B2 (en) 2017-06-12 2023-02-21 Interdigital Madison Patent Holdings, Sas Method and apparatus for providing information to a user observing a multi view content
CN112136153A (zh) * 2018-04-19 2020-12-25 上海科技大学 基于光场的反射消除
CN112136153B (zh) * 2018-04-19 2024-05-17 上海科技大学 基于光场的反射消除
CN111489323A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
CN111489407A (zh) * 2020-04-09 2020-08-04 中国科学技术大学先进技术研究院 光场图像编辑方法、装置、设备及存储介质
CN111489407B (zh) * 2020-04-09 2023-06-02 中国科学技术大学先进技术研究院 光场图像编辑方法、装置、设备及存储介质
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN105488771B (zh) 2018-08-28

Similar Documents

Publication Publication Date Title
CN105488771A (zh) 光场图像编辑方法及装置
Murez et al. Atlas: End-to-end 3d scene reconstruction from posed images
Liu et al. A novel recurrent encoder-decoder structure for large-scale multi-view stereo reconstruction from an open aerial dataset
CN110458957B (zh) 一种基于神经网络的图像三维模型构建方法及装置
US11694387B2 (en) Systems and methods for end to end scene reconstruction from multiview images
CN104299263B (zh) 一种基于单幅图像建模云场景的方法
CN106600686A (zh) 一种基于多幅未标定图像的三维点云重建方法
CN107204010A (zh) 一种单目图像深度估计方法与系统
CN104424640B (zh) 对图像进行虚化处理的方法和装置
CN104966318A (zh) 具有图像叠加和图像特效功能的增强现实方法
CN101394573A (zh) 一种基于特征匹配的全景图生成方法及系统
CN104159093A (zh) 运动拍摄的静态场景视频的时域一致性空洞区域修补方法
CN110415332A (zh) 一种非单一视角下复杂织物表面三维重建系统及其方法
CN105046649A (zh) 一种去除运动视频中运动物体的全景图拼接方法
CN104463859A (zh) 一种基于跟踪指定点的实时视频拼接方法
CN104134198A (zh) 一种对图像进行局部处理的方法
Stucker et al. ResDepth: Learned residual stereo reconstruction
CN104103091A (zh) 3d智能建模方法和系统及3d模型柔性制造系统
Häne et al. Hierarchical surface prediction
CN111091151A (zh) 用于目标检测数据增强的生成对抗网络的方法
CN104010180A (zh) 三维视频滤波方法和装置
He et al. Object removal by depth-guided inpainting
Tehrani et al. Correcting perceived perspective distortions using object specific planar transformations
Ali et al. Single image Façade segmentation and computational rephotography of House images using deep learning
Jheng et al. Free-form 3D scene inpainting with dual-stream GAN

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant