CN114078153B - 面向散射场景的光场编码摄像方法及装置 - Google Patents
面向散射场景的光场编码摄像方法及装置 Download PDFInfo
- Publication number
- CN114078153B CN114078153B CN202111367995.1A CN202111367995A CN114078153B CN 114078153 B CN114078153 B CN 114078153B CN 202111367995 A CN202111367995 A CN 202111367995A CN 114078153 B CN114078153 B CN 114078153B
- Authority
- CN
- China
- Prior art keywords
- region
- depth
- light field
- boundary
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000005286 illumination Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002834 transmittance Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及计算机视觉与数字图像处理技术领域,特别涉及一种面向散射场景的光场编码摄像方法及装置,其中,方法包括:获取散射光场数据,并从散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈;将重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈;在处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素;基于光场数据参数,将偏移像素转换为目标物的深度图像。本申请实施例可以实现散射场景下的深度重建,得到目标物的深度图像,将光场深度重建的有效性拓展至散射场景,有效保证准确性和适用性。
Description
技术领域
本申请涉及计算机视觉与数字图像处理技术领域,特别涉及一种面向散射场景的光场编码摄像方法及装置。
背景技术
相关技术中,光场深度图像重建技术可以从多视角的光场数据中,根据目标物的纹理特征,实现无先验的目标物深度图重建。该技术一般应用在光场极线图或重聚焦焦栈上,在自动驾驶、VR展示、三维重建等方面具有广泛的应用前景,这其中光场数据的采集方式有微透镜阵列式相机和相机阵列两种。
然而,在面向散射场景(如雾、浑浊的水)时,目标物的纹理特征信息会因为介质对光线吸收及散射的作用而难以识别,这也导致光场深度图像重建技术无法有效应用在到散射场景中,大大限制了其应用前景。
申请内容
本申请提供一种面向散射场景的光场编码摄像方法及装置,以解决相关技术中光场深度图像重建技术无法有效应用在到散射场景中,限制了光场深度图像重建技术的应用前景的问题。
本申请第一方面实施例提供一种面向散射场景的光场编码摄像方法,包括以下步骤:获取散射光场数据,并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈;将所述重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈;在所述处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素;基于光场数据参数,将所述偏移像素转换为目标物的深度图像。
可选地,在本申请的一个实施例中,所述从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈,包括:用Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,且将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)],
其中,Jkl(x,y)表示未经过散射的目标物原始图像,t(x,y)表示范围在0-1的透射率图,以描述散射对图像造成的干扰,并进一步表示为t(x,y)=e-βz(x,y),其中,β为散射系数,z(x,y)表示目标物的深度图,A(x,y)表示被动式环境光照。
可选地,在本申请的一个实施例中,所述从重聚焦焦栈I(x,y,α)的获取公式为:
其中,K和L表示子视角总数,kcenter表示中心视角对应的行数,lcenter表示中心视角对应的列数,O(x,y)表示子视角交叠的次数,α表示视角间的偏移像素,在不同的α下,得到不同聚焦结果。
可选地,在本申请的一个实施例中,所述偏移像素α与目标物深度图间的对应关系如下:
其中,f表示相机的焦距,c表示相机传感器的像素尺寸,p表示相邻子视角图像间的基线距离。
可选地,在本申请的一个实施例中,所述各区域边界最锐利时对应的偏移像素的获取公式为:
可选地,在本申请的一个实施例中,所述深度图的计算公式为:
其中,z(x,y)表示所述目标物深度图。
可选地,在本申请的一个实施例中,其中,所述将所述偏移像素转换为目标物的深度图像,进一步包括:
若所述1范数算子作用在目标物的平滑区域或边界区域,则利用曲线dx,y(α)下峰值显著度作为鉴别的阈值,并将在目标物边界区域计算出的深度作为有效深度,以将所述目标物平滑区域计算出的深度作为无效深度,以及利用临近一致等原则,将所述目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,其曲线计算公式为:
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
本申请第二方面实施例提供一种面向散射场景的光场编码摄像装置,包括:获取模块,用于获取散射光场数据,并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈;转换模块,用于将所述重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈;提取模块,用于在所述处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素;成像模块,用于基于光场数据参数,将所述偏移像素转换为目标物的深度图像。
本申请第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的面向散射场景的光场编码摄像方法。
本申请第四方面实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上述实施例所述的面向散射场景的光场编码摄像方法。
本申请实施例以散射场景下的光场数据为输入,通过饱和度域下的1范数算子识别重聚焦焦栈中各块区域边界信息最锐利时对应的偏移像素值,并根据光场参数转换为目标物深度图,实现散射下目标物深度图重建,将光场深度图像重建的有效性拓展至散射场景,有效保证其准确性和适用性。由此,解决了相关技术中光场深度图像重建技术无法有效应用在到散射场景中,限制了光场深度图像重建技术的应用前景的问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本申请实施例提供的一种面向散射场景的光场编码摄像方法的流程图;
图2为根据本申请实施例的面向散射场景的光场编码摄像装置的示例图;
图3为根据本申请实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的面向散射场景的光场编码摄像方法及装置。针对上述背景技术中心提到的相关技术中光场深度图像重建技术无法有效应用在到散射场景中,限制了光场深度图像重建技术的应用前景的问题,本申请提供了一种面向散射场景的光场编码摄像方法,在该方法中,以散射场景下的光场数据为输入,通过饱和度域下的1范数算子识别重聚焦焦栈中各块区域边界信息最锐利时对应的偏移像素值,并根据光场参数转换为目标物深度图,实现散射下目标物深度图重建,将光场深度图像重建的有效性拓展至散射场景,有效保证其准确性和适用性。由此,解决了相关技术中光场深度图像重建技术无法有效应用在到散射场景中,限制了光场深度图像重建技术的应用前景的问题。
具体而言,图1为本申请实施例所提供的一种面向散射场景的光场编码摄像方法的流程示意图。
如图1所示,该面向散射场景的光场编码摄像方法包括以下步骤:
在步骤S101中,获取散射光场数据,并从散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈。
可以理解的是,首先,本申请实施例从散射光场数据中,获取到对应于不同视角间偏移像素的重聚焦焦栈。
可选地,在本申请的一个实施例中,从散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈,包括:用Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,且将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)],
其中,Jkl(x,y)表示未经过散射的目标物原始图像,t(x,y)表示范围在0-1的透射率图,以描述散射对图像造成的干扰,并进一步表示为t(x,y)=e-βz(x,y),其中,β为散射系数,z(x,y)表示目标物的深度图,A(x,y)表示被动式环境光照。
也就是说,作为一种可能实现的方式,步骤S101中,用Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,这里将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)],
其中Jkl(x,y)表示未经过散射的目标物原始图像;t(x,y)表示范围在0-1的透射率图,用于描述散射对图像造成的干扰,可进一步表示为t(x,y)=e-βz(x,y),其中β为散射系数,z(x,y)表示目标物的深度图;A(x,y)表示被动式环境光照。该模型可适用于雾、霾、浑浊的水等动态散射介质。
另外,在本申请的一个实施例中,从重聚焦焦栈I(x,y,α)的获取公式为:
其中,K和L表示子视角总数,kcenter表示中心视角对应的行数,lcenter表示中心视角对应的列数,O(x,y)表示子视角交叠的次数,α表示视角间的偏移像素,在不同的α下,得到不同聚焦结果。
即言,作为一种可能实现的方式,上述步骤中,获取对应于不同视角间偏移像素的重聚焦焦栈I(x,y,α),过程如下:
其中,K和L表示子视角总数;kcenter表示中心视角对应的行数;lcenter表示中心视角对应的列数;O(x,y)表示子视角交叠的次数;α表示视角间的偏移像素,在不同的α下,可以得到不同聚焦结果。
可选地,在本申请的一个实施例中,偏移像素α与目标物深度图间的对应关系可以如下:
其中,f表示相机的焦距,c表示相机传感器的像素尺寸,p表示相邻子视角图像间的基线距离。
在步骤S102中,将重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈。
可以理解的是,其次,本申请实施例将焦栈中的图像转化到饱和度域,即言将焦栈中的图像I(x,y,α)转化到饱和度域,得到S(x,y,α),通过将光场焦栈图从彩色RGB域转化到饱和域中,极大保留目标物的纹理信息,以服务于后续散射光场的深度图像重建。
在步骤S103中,在处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素。
可以理解的是,进而,本申请实施例在经过上述步骤处理的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素。
进一步地,在本申请的一个实施例中,各区域边界最锐利时对应的偏移像素的获取公式为:
在实际执行的过程中,作为一种可能实现的方式,设计基于块的1范数算子,用于获取块内边界最锐利时对应的偏移像素α*(x,y),即目标物所在深度对应的有效偏移像素,过程如下:
在步骤S104中,基于光场数据参数,将偏移像素转换为目标物的深度图像。
可以理解的是,最后,本申请实施例根据光场数据参数,将偏移像素转换为目标物的深度图,实现散射场景下的深度图像重建。可选地,在本申请的一个实施例中,深度图的计算公式为:
其中,z(x,y)表示目标物深度图。
本领域技术人员应该理解到的是,作为一种可能实现的方式,利用光场参数,可以将偏移像素信息转换位目标物的深度图z(x,y),即:
具体地,在本申请的一个实施例中,其中,将偏移像素转换为目标物的深度图像,进一步包括:
若1范数算子作用在目标物的平滑区域或边界区域,则利用曲线dx,y(α)下峰值显著度作为鉴别的阈值,并将在目标物边界区域计算出的深度作为有效深度,以将目标物平滑区域计算出的深度作为无效深度,以及利用临近一致等原则,将目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,其曲线计算公式为:
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
基于其他相关实施例的说明可以理解到的是,若1范数算子作用在目标物的平滑区域或边界区域,可利用曲线dx,y(α)下峰值显著度作为阈值实现鉴别,将在目标物边界区域计算出的深度作为有效深度,而将目标物平滑区域计算出的深度作为无效深度,再利用临近一致等原则,将目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度。
其中峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
以下以一个具体实施例,对本申请实施例的原理进行详细说明。本申请实施例的方法包括以下步骤:
步骤A1、基于散射光场数据,获取对应于不同视角间偏移像素的重聚焦焦栈I(x,y,α):
其中,K和L表示子视角总数;kcenter表示中心视角对应的行数;lcenter表示中心视角对应的列数;O(x,y)表示子视角交叠的次数;Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,这里将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)]
其中,Jkl(x,y)表示未经过散射的目标物原始图像;t(x,y)表示范围在0-1的透射率图,用于描述散射对图像造成的干扰,可进一步表示为t(x,y)=e-βz(x,y),其中β为散射系数,z(x,y)表示目标物的深度图;A(x,y)表示被动式环境光照。该模型可适用于雾、霾、浑浊的水等动态散射介质。
此外,α表示视角间的偏移像素,在不同的α下,可以得到不同聚焦结果。偏移像素α与目标物深度图间的对应关系如下:
其中,f表示相机的焦距;c表示相机传感器的像素尺寸;p表示相邻子视角图像间的基线距离。
步骤A2、将焦栈中的图像I(x,y,α)转化到饱和度域,得到S(x,y,α)。
步骤A3、基于饱和度域焦栈信息,设计基于块区域的1范数算子,用于获取块内边界最锐利时对应的偏移像素α*(x,y),即目标物所在深度对应的有效偏移像素,过程如下:
步骤A4、利用光场参数,可以将偏移像素信息转换位目标物的深度图z(x,y),完成目标物深度重建,即:
这里若1范数算子作用在目标物的平滑区域或边界区域,可利用曲线dx,y(α)下峰值显著度作为阈值实现鉴别,将在目标物边界区域计算出的深度作为有效深度,而将目标物平滑区域计算出的深度作为无效深度,再利用临近一致等原则,将目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,得到深度图像。
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
根据本申请实施例提出的面向散射场景的光场编码摄像方法,以散射场景下的光场数据为输入,通过饱和度域下的1范数算子识别重聚焦焦栈中各块区域边界信息最锐利时对应的偏移像素值,并根据光场参数转换为目标物深度图,实现散射下目标物深度图重建,将光场深度图像重建的有效性拓展至散射场景,有效保证其准确性和适用性。
其次参照附图描述根据本申请实施例提出的面向散射场景的光场编码摄像装置。
图2是本申请实施例的面向散射场景的光场编码摄像装置的方框示意图。
如图2所示,该面向散射场景的光场编码摄像装置10包括:获取模块100、转换模块200、提取模块300和成像模块400。
具体地,获取模块100,用于获取散射光场数据,并从散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈。
转换模块200,用于将重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈。
提取模块300,用于在处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素。
成像模块400,用于基于光场数据参数,将偏移像素转换为目标物的深度图像。
可选地,在本申请的一个实施例中,获取模块100具体用于用Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,且将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)],
其中,Jkl(x,y)表示未经过散射的目标物原始图像,t(x,y)表示范围在0-1的透射率图,以描述散射对图像造成的干扰,并进一步表示为t(x,y)=e-βz(x,y),其中,β为散射系数,z(x,y)表示目标物的深度图,A(x,y)表示被动式环境光照。
可选地,在本申请的一个实施例中,从重聚焦焦栈I(x,y,α)的获取公式为:
其中,K和L表示子视角总数,kcenter表示中心视角对应的行数,lcenter表示中心视角对应的列数,O(x,y)表示子视角交叠的次数,α表示视角间的偏移像素,在不同的α下,得到不同聚焦结果。
可选地,在本申请的一个实施例中,偏移像素α与目标物深度图间的对应关系如下:
其中,f表示相机的焦距,c表示相机传感器的像素尺寸,p表示相邻子视角图像间的基线距离。
可选地,在本申请的一个实施例中,各区域边界最锐利时对应的偏移像素的获取公式为:
可选地,在本申请的一个实施例中,深度图的计算公式为:
其中,z(x,y)表示目标物深度图。
可选地,在本申请的一个实施例中,其中,将所述偏移像素转换为目标物的深度图像,进一步包括:
若1范数算子作用在目标物的平滑区域或边界区域,则利用曲线dx,y(α)下峰值显著度作为鉴别的阈值,并将在目标物边界区域计算出的深度作为有效深度,以将目标物平滑区域计算出的深度作为无效深度,以及利用临近一致等原则,将目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,其曲线计算公式为:
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
需要说明的是,前述对面向散射场景的光场编码摄像方法实施例的解释说明也适用于该实施例的面向散射场景的光场编码摄像装置,此处不再赘述。
根据本申请实施例提出的面向散射场景的光场编码摄像装置,以散射场景下的光场数据为输入,通过饱和度域下的1范数算子识别重聚焦焦栈中各块区域边界信息最锐利时对应的偏移像素值,并根据光场参数转换为目标物深度图,实现散射下目标物深度图重建,将光场深度图像重建的有效性拓展至散射场景,有效保证其准确性和适用性。
图3为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括:
存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序。
处理器302执行程序时实现上述实施例中提供的面向散射场景的光场编码摄像方法。
进一步地,电子设备还包括:
通信接口303,用于存储器301和处理器302之间的通信。
存储器301,用于存放可在处理器302上运行的计算机程序。
存储器301可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器301、处理器302和通信接口303独立实现,则通信接口303、存储器301和处理器302可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture,简称为ISA)总线、外部设备互连(PeripheralComponent,简称为PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture,简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选地,在具体实现上,如果存储器301、处理器302及通信接口303,集成在一块芯片上实现,则存储器301、处理器302及通信接口303可以通过内部接口完成相互间的通信。
处理器302可能是一个中央处理器(Central Processing Unit,简称为CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的面向散射场景的光场编码摄像方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“N个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或N个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种面向散射场景的光场编码摄像方法,其特征在于,包括以下步骤:
获取散射光场数据,并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈;所述重聚焦焦栈I(x,y,α)的获取公式为:
其中,Ikl()表示被动光照下的第k行第l列散射子视角彩色图像,K和L表示子视角总数,kcenter表示中心视角对应的行数,lcenter表示中心视角对应的列数,O(x,y)表示子视角交叠的次数,α表示视角间的偏移像素,在不同的α下,得到不同聚焦结果;
将所述重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈;
在所述处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素;所述各区域边界最锐利时对应的偏移像素的获取公式为:
基于光场数据参数,将所述各区域边界最锐利时对应的偏移像素转换为目标物的深度图像,所述深度图像的计算公式为:
其中,z(x,y)表示所述目标物的深度图像;
所述将所述偏移像素转换为目标物的深度图像,进一步包括:
若所述1范数算子作用在目标物的平滑区域或边界区域,则利用曲线dx,y(α)下峰值显著度作为鉴别的阈值,并将在目标物边界区域计算出的深度作为有效深度,以将所述目标物平滑区域计算出的深度作为无效深度,以及利用临近一致原则,将所述目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,其曲线计算公式为:
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
2.根据权利要求1所述的方法,其特征在于,所述从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈,包括:
用Ikl(x,y)表示被动光照下的第k行第l列散射子视角彩色图像,其中x和y分别表示图像的像素维度,k和l分别沿着x和y的方向,且将散射干扰定义为如下模型:
Ikl(x,y)=Jkl(x,y)t(x,y)+A(x,y)[1-t(x,y)],
其中,Jkl(x,y)表示未经过散射的目标物原始图像,t(x,y)表示范围在0-1的透射率图,以描述散射对图像造成的干扰,并进一步表示为t(x,y)=e-βz(x,y),其中,β为散射系数,z(x,y)表示目标物的深度图,A(x,y)表示被动式环境光照。
4.一种面向散射场景的光场编码摄像装置,其特征在于,包括:
获取模块,用于获取散射光场数据,并从所述散射光场数据中提取对应于不同视角间偏移像素的重聚焦焦栈;所述重聚焦焦栈I(x,y,α)的获取公式为:
其中,Ikl()表示被动光照下的第k行第l列散射子视角彩色图像,K和L表示子视角总数,kcenter表示中心视角对应的行数,lcenter表示中心视角对应的列数,O(x,y)表示子视角交叠的次数,α表示视角间的偏移像素,在不同的α下,得到不同聚焦结果;
转换模块,用于将所述重聚焦焦栈中的图像转化到饱和度域,得到处理后的焦栈;
提取模块,用于在所述处理后的焦栈中,逐区域比较不同偏移像素聚焦时的边界锐利程度,并利用1范数算子提取各区域边界最锐利时对应的偏移像素;所述各区域边界最锐利时对应的偏移像素的获取公式为:
成像模块,用于基于光场数据参数,将所述各区域边界最锐利时对应的偏移像素转换为目标物的深度图像,所述深度图像的计算公式为:
其中,z(x,y)表示所述目标物的深度图像;
所述将所述偏移像素转换为目标物的深度图像,进一步包括:
若所述1范数算子作用在目标物的平滑区域或边界区域,则利用曲线dx,y(α)下峰值显著度作为鉴别的阈值,并将在目标物边界区域计算出的深度作为有效深度,以将所述目标物平滑区域计算出的深度作为无效深度,以及利用临近一致原则,将所述目标物平滑区域对应的深度等效为临近的边界区域计算得到的深度,其曲线计算公式为:
其中,峰值显著度定义为曲线dx,y(α)的第一峰值与第二峰值的比值。
5.一种电子设备,其特征在于,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如权利要求1-3任一项所述的面向散射场景的光场编码摄像方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1-3任一项所述的面向散射场景的光场编码摄像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111367995.1A CN114078153B (zh) | 2021-11-18 | 2021-11-18 | 面向散射场景的光场编码摄像方法及装置 |
US17/989,722 US20230154025A1 (en) | 2021-11-18 | 2022-11-18 | Light field encoded imaging method and apparatus for scattering scene |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111367995.1A CN114078153B (zh) | 2021-11-18 | 2021-11-18 | 面向散射场景的光场编码摄像方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114078153A CN114078153A (zh) | 2022-02-22 |
CN114078153B true CN114078153B (zh) | 2022-06-14 |
Family
ID=80284747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111367995.1A Active CN114078153B (zh) | 2021-11-18 | 2021-11-18 | 面向散射场景的光场编码摄像方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230154025A1 (zh) |
CN (1) | CN114078153B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111613176B (zh) * | 2020-05-18 | 2021-07-13 | 维沃移动通信有限公司 | 环境光检测方法及电子设备 |
CN114820581B (zh) * | 2022-05-26 | 2023-03-24 | 清华大学 | 轴对称光学成像并行仿真方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104704821A (zh) * | 2012-08-04 | 2015-06-10 | 保罗.拉普斯顿 | 扫描双向光场相机和显示器 |
CN108961392A (zh) * | 2018-06-13 | 2018-12-07 | 清华大学深圳研究生院 | 一种三维样本的图像重构方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5647036A (en) * | 1994-09-09 | 1997-07-08 | Deacon Research | Projection display with electrically-controlled waveguide routing |
JP5932476B2 (ja) * | 2012-05-17 | 2016-06-08 | キヤノン株式会社 | 画像処理装置、撮像装置、距離計測方法および距離計測プログラム |
CN104299263B (zh) * | 2014-09-14 | 2017-06-20 | 北京航空航天大学 | 一种基于单幅图像建模云场景的方法 |
EP3507765A4 (en) * | 2016-09-01 | 2020-01-01 | Duelight LLC | SYSTEMS AND METHODS FOR FOCUS ADJUSTMENT BASED ON TARGET DEVELOPMENT INFORMATION |
EP3462410A1 (en) * | 2017-09-29 | 2019-04-03 | Thomson Licensing | A user interface for manipulating light-field images |
CN110634165B (zh) * | 2019-03-25 | 2021-10-29 | 清华大学深圳研究生院 | 一种基于rgb三通道信息融合的光场图像去散射方法 |
CN110246162A (zh) * | 2019-06-20 | 2019-09-17 | 首都师范大学 | 一种全聚焦光场图像组成方法及系统 |
CN111325763B (zh) * | 2020-02-07 | 2023-04-07 | 清华大学深圳国际研究生院 | 一种基于光场重聚焦的遮挡预测方法和装置 |
-
2021
- 2021-11-18 CN CN202111367995.1A patent/CN114078153B/zh active Active
-
2022
- 2022-11-18 US US17/989,722 patent/US20230154025A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104704821A (zh) * | 2012-08-04 | 2015-06-10 | 保罗.拉普斯顿 | 扫描双向光场相机和显示器 |
CN108961392A (zh) * | 2018-06-13 | 2018-12-07 | 清华大学深圳研究生院 | 一种三维样本的图像重构方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114078153A (zh) | 2022-02-22 |
US20230154025A1 (en) | 2023-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110378945B (zh) | 深度图处理方法、装置和电子设备 | |
US11457138B2 (en) | Method and device for image processing, method for training object detection model | |
CN107977940B (zh) | 背景虚化处理方法、装置及设备 | |
CN114078153B (zh) | 面向散射场景的光场编码摄像方法及装置 | |
EP1984892B1 (en) | Foreground/background segmentation in digital images | |
US7324701B2 (en) | Image noise reduction | |
TW201629848A (zh) | 指紋重疊區域面積的計算方法及電子裝置 | |
CN107221005B (zh) | 物体检测方法及装置 | |
CN103279952A (zh) | 一种目标跟踪方法和装置 | |
CN111754531A (zh) | 图像实例分割方法和装置 | |
JP2011134012A (ja) | 画像処理装置、その画像処理方法及びプログラム | |
CN109214334A (zh) | 车道线处理方法和装置 | |
CN110728201B (zh) | 用于指纹识别的图像处理方法及装置 | |
CN113673584A (zh) | 一种图像检测方法及相关装置 | |
CN112465735A (zh) | 行人检测方法、装置及计算机可读存储介质 | |
CN116249015A (zh) | 摄像头遮挡检测方法、装置、摄像头设备及存储介质 | |
CN107454328A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN115345961B (zh) | 基于hsv颜色空间相互运算的浓雾彩色重建方法及装置 | |
CN116051373A (zh) | 一种图像拼接方法、图像拼接装置及终端设备 | |
CN116012322A (zh) | 一种相机脏污检测方法、装置、设备及介质 | |
CN110490033B (zh) | 用于车道检测的图像处理方法及装置 | |
JP6762779B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
CN113628255B (zh) | 一种三光融合无损检测图像配准算法 | |
CN112668370B (zh) | 一种基于深度图像的生物特征活体识别检测方法、装置 | |
JP6558978B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |