CN104735360B - 光场图像处理方法和装置 - Google Patents

光场图像处理方法和装置 Download PDF

Info

Publication number
CN104735360B
CN104735360B CN201310697583.3A CN201310697583A CN104735360B CN 104735360 B CN104735360 B CN 104735360B CN 201310697583 A CN201310697583 A CN 201310697583A CN 104735360 B CN104735360 B CN 104735360B
Authority
CN
China
Prior art keywords
mrow
msub
image
function
unit image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310697583.3A
Other languages
English (en)
Other versions
CN104735360A (zh
Inventor
徐晶
许之敏
林彦民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310697583.3A priority Critical patent/CN104735360B/zh
Priority to EP14191172.7A priority patent/EP2887310B1/en
Priority to US14/575,091 priority patent/US9456193B2/en
Publication of CN104735360A publication Critical patent/CN104735360A/zh
Application granted granted Critical
Publication of CN104735360B publication Critical patent/CN104735360B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本发明提供一种光场图像处理方法和装置。该方法包括：获取光场图像；获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数；采用所述成本函数，获取所述光场图像中各单元图像的偏移量；采用所述各单元图像的偏移量，重建高分辨率光场。本发明在重建高分辨率光场时，可以先根据光场图像的光流变化信息，获取光场图像中各单元图像的偏移量，并采用各单元图像的偏移量，来重建高分辨率光场，从而可以有效提高空间分辨率。

Description

光场图像处理方法和装置
技术领域
本发明实施例涉及通信技术，尤其涉及一种光场图像处理方法和装置。
背景技术
和普通相机相比，光场相机基于光场技术，采集空间中光线信息，包括光线方向，强度颜色等信息，可以拍摄3维图像。
现有光场相机获取图像基于模型：i＝PDBMlh+e，其中，i表示传感器单元获取的图像，lh表示所要拍摄的目标，e为加性噪声，P为投影矩阵，用于描述光线到2维传感器单元的投影，M为偏移量对应的矩阵，B为光学系统的模糊特性(blurring)或点扩散函数PSF，而D为降采样矩阵。由于光场相机的传感器单元像素较小，造成光场相机的空间分辨率较低，现有光场相机处理图像时提高空间分辨率的方法主要是通过估计光场相机的点扩散函数(point spread function，简称PSF)，然后采用去模糊技术进行重构。
但是由于PSF的理论值和实际情况的误差较大，该方法精度较差，提高空间分辨率效果较差。
发明内容
本发明提供一种光场图像处理方法和装置，已现有技术解决在提高空间分辨率效果较差问题，同时解决现有技术应用不广泛问题。
本发明的第一方面是提供一种光场图像处理方法，包括：
获取光场图像；
获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数；
采用所述成本函数，获取所述光场图像中各单元图像的偏移量；
采用所述各单元图像的偏移量，重建高分辨率光场。
结合第一方面，在第一种可实现的方式中，所述获取所述各单元图像的遮挡标记函数，包括：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示遮挡区域的边界像素具有负的光流值，表示对x方向求偏导，表示对y方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像中坐标为(x,y)的像素强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示上述两个像素的灰度的差值；
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
结合第一方面的第一种可实现的方式，在第二种可实现的方式中，所述遮挡标记函数为：
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
结合第一方面、第一方面的第一种可实现的方式或者第二种可实现的方式，在第三种可实现的方式中，所述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，包括：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，α为梯度变化信息的调整系数。
结合第一方面、第一方面的第一种可实现的方式或者第二种可实现的方式，在第四种可实现的方式中，所述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，包括：
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
结合第一方面的第三种可实现的方式或者第四种可实现的方式，在第五种可实现的方式中，所述采用所述成本函数，获取所述光场图像中各单元图像的偏移量，包括：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
本发明的第二方面是提供一种光场图像处理装置，包括：
采集模块，用于获取光场图像；
获取模块，用于获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，采用所述成本函数，获取所述光场图像中各单元图像的偏移量；
重建模块，用于采用所述各单元图像的偏移量，重建高分辨率光场。
结合第二方面，在第一种可实现的方式中，所述获取模块，具体用于：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的沿视差变化方向的偏移变化量，表示对水平方向求偏导，表示对垂直方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像的强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的灰度；
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
结合第二方面的第一种可实现的方式，在第二种可实现的方式中，所述遮挡标记函数为：
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
结合第二方面、第二方面的第一种可实现的方式或者第二种可实现的方式，在第三种可实现的方式中，所述获取模块具体用于：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，α为梯度变化信息的调整系数。
结合第二方面、第二方面的第一种可实现的方式或者第二种可实现的方式，在第四种可实现的方式中，所述获取模块具体用于：
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
结合第二方面的第三种可实现的方式或者第四种可实现的方式，在第五种可实现的方式中，所述获取模块具体用于：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
本发明提供的光场图像处理方法和装置，通过根据所述光场图像的光流变化信息，获取所述光场图像中各单元图像的偏移量，并采用所述各单元图像的偏移量，重建高分辨率光场，提高了空间分辨率，并且本发明提供的光场图像处理方法和装置应用广泛。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。
图1为本发明光场图像处理方法实施例一的流程图；
图2为本发明光场图像处理方法实施例二的流程图；
图3为本发明场图像处理装置实施例一的结构示意图；
图4为本发明场图像处理装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
图1为本发明光场图像处理方法实施例一的流程图。本实施例的方法适用于对光场相机获取的图像进行重构，通常由软件或硬件实现。光场相机的种类包括微透镜阵列类型、相机阵列类型及其他类型，本实施例的方法适用于上述任一类型，原理类似，为方便说明，本发明以相机阵列类型的光场相机为例进行说明。参考图1，本实施例可以包括以下步骤：
步骤101、获取光场图像。
其中，光场图像可以通过传感器单元获取，由若干个单元图像汇聚而成。例如在相机阵列类型的光场相机中，若干个镜头组成镜头阵列，各个镜头分别对应各自的传感器单元，所述光场图像是通过镜头阵列的各个镜头对应的传感器单元获取的各个单元图像再经过汇聚得到。
步骤102、根据所述光场图像的光流变化信息，获取所述光场图像中各单元图像的偏移量。
其中，光流变化信息可以包括单元图像中像素的强度变化信息和梯度变化信息等信息。光场相机中，由于镜头阵列通常是水平方向排列n个，垂直方向排列n个，每个镜头在拍照同一目标时会产生不同的偏差，不同的偏差对应不同的偏移量，偏移量可分解为沿水平方向的偏移量和沿垂直方向的偏移量。水平方向的偏移量是指水平方向第k个镜头拍到的单元图像相对与水平方向第1个镜头拍到的单元图像的偏差，垂直方向的偏移量是指垂直方向第k个镜头拍到的单元图像相对与垂直方向第1个镜头拍到的单元图像的偏差。
步骤103、采用所述各单元图像的偏移量，重建高分辨率光场。
光场相机在拍摄目标时，由于传感器单元像素有限，造成光场相机的空间分辨率较低，原因是，各个镜头同时拍目标时，由于各个镜头之间的偏差，每个镜头只能拍到目标的一部分，从而造成空间分辨率有损失，但是可以通过获取偏移量来补偿损失的空间分辨率。具体地，根据步骤20中得到的各单元图像的偏移量获取对应的矩阵M，结合模型i＝PDBMlh+e从而重建高分辨率光场，即根据传感器单元获取的图像i重建目标lh，从而获取高分辨率的lh *。
本实施例在重建高分辨率光场时，可以先根据光场图像的光流变化信息，获取光场图像中各单元图像的偏移量，并采用各单元图像的偏移量，来重建高分辨率光场，从而可以有效提高空间分辨率，并且本实施例应用广泛，不仅可应用于微透镜阵列类型的光场相机，还可应用于相机阵列及其他类型的光场相机。
图2为本发明光场图像处理方法实施例二的流程图，如图2所示，本实施例的方法包括以下步骤：
步骤201、获取光场图像；
步骤202、获取所述各单元图像的遮挡标记函数。
当光场相机在拍摄目标时，经常遇到中间有物体遮挡的情况，造成获取光场图像不清晰等问题，为了有效解决遮挡问题，可以通过遮挡标记函数解决该遮挡问题。即使没有遇到中间有物体遮挡的情况，也可以通过遮挡标记函数提高所述各单元图像的成像效果。
在具体实现时，可以采用下述三种方式中的至少一种来确定各单元图像的遮挡标记函数：
方式一、采用下述公式(1)
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示遮挡区域的边界像素具有负的光流值，表示对x方向求偏导，表示对y方向求偏导。
方式二、采用下述公式(2)
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像中坐标为(x,y)的像素强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示上述两个像素的灰度的差值。
方式三、采用公式(3)
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
进一步地，为了更准确的获取遮挡标记函数，可优选采用公式上述公式(1)、(2)和(3)综合来获取遮挡标记函数，计算公式如下：
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
可以根据具体引起遮挡的原因来调整σ1、σ2和σ3，从而准确的获取所述遮挡标记函数。
步骤203、根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数。
具体来说，光场强度一致性假设原理为：
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，k＝2,3,…n2，i1(x,y)为第一个单元图像的强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息。
光场强度一致性假设原理的含义是：第1个单元图像中坐标为(x,y)的像素的强度和第k个单元图像中坐标为(x,y)加上偏移量之后的坐标，即(x+uk(x,y),y+vk(x,y))的像素的强度相等。其中为第k个单元图像在水平方向的偏移量的倍数，ψk为第k个单元图像在垂直方向的偏移量的倍数。表示第k个单元图像在水平方向的偏移量,vk(x,y)＝ψku1(x,y)表示第k个单元图像在水平方向的偏移量。
进一步推导得到下述公式：
该公式表示第1个单元图像中坐标为(x,y)的像素的强度对应梯度信息和第k个单元图像中坐标为(x,y)加上偏移量之后的坐标，即(x+uk(x,y),y+vk(x,y))的像素的强度对应梯度信息相等。
因此，基于上述光场强度一致性假设原理，理论上第1个单元图像中坐标为(x,y)的像素的强度和第k个单元图像中坐标为(x,y)加上偏移量之后的坐标，即(x+uk(x,y),y+vk(x,y))的像素的强度相等，因此可以通过成本函数来估计u1和v1,其中确定所述各单元图像的偏移量估计的成本函数可以通过鲁棒特性的凹函数，即Φ()函数获取。
具体地，步骤203可以采用以下两种方式实现：
方式一：采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，α为梯度变化信息的调整系数。
根据具体场景适宜调整取值一般为0到1之间的小数。
方式二：采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)
为了更准确获取所述各单元图像的偏移量估计的成本函数，结合各单元图像的偏移量估计的成本函数的平滑项，来确定所述各单元图像的偏移量估计的成本函数。
具体地，采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
该β根据具体场景适宜调整取值一般为0到1之间的小数。
步骤204、采用所述成本函数，获取所述光场图像中各单元图像的偏移量。
具体地，可以采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
根据上述光场强度一致性假设原理，理论上第1个单元图像中坐标为(x,y)的像素的强度和第k个单元图像中坐标为(x,y)加上偏移量之后的坐标，即(x+uk(x,y),y+vk(x,y))的像素的强度相等，对应的梯度信息也应该相等，因此可以求公式(7)中Γintensity(u1,v1)的最小值，当Γintensity(u1,v1)最小时，对应的即为最接近(u1，v1)的估计值。
步骤205、采用各单元图像的偏移量，重建高分辨率光场。
本实施例，通过采用公式(5)或公式(6)确定各单元图像的偏移量估计的成本函数，进而采用该成本函数以及公式(7)可以准确的获取u1和v1的估计值，并采用公式(8)和(9)获取各单元图像的偏移量，从而重建高分辨率光场。
图3为本发明光场图像处理装置实施例一的结构示意图，如图3所示，该装置包括：采集模块11、获取模块12、重建模块13。
其中，采集模块11，用于获取光场图像；
获取模块12，用于获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，采用所述成本函数，获取所述光场图像中各单元图像的偏移量。
重建模块13，用于采用所述各单元图像的偏移量，重建高分辨率光场。
进一步的，获取模块12，具体用于：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的沿视差变化方向的偏移变化量，表示对水平方向求偏导，表示对垂直方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像的强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的灰度；
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
其中，遮挡标记函数可以为：
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
进一步的，获取模块12，具体用于：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，α为梯度变化信息的调整系数。
或者，具体用于：
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
进一步的，获取模块12，具体用于：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
本实施例的装置，可以用于执行图1或图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图4为本发明光场图像处理装置实施例二的结构示意图，如图4所示，本实施例的装置可以包括：处理器401、存储器402、通信接口403和总线404。其中，处理器401、存储器402、通信接口403通过总线404相互连接；
存储器402，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。
处理器401执行存储器402所存放的程序，实现如下方法：
获取光场图像；
根据所述光场图像的光流变化信息，获取所述光场图像中各单元图像的偏移量；
采用所述各单元图像的偏移量，重建高分辨率光场。
进一步的，上述根据所述光场图像的光流变化信息，获取所述光场图像中各单元图像的偏移量，包括：
根据所述光场图像中各单元图像的强度变化信息和梯度变化信息，确定所述各单元图像的偏移量估计的成本函数；
采用所述成本函数，获取所述光场图像中各单元图像的偏移量。
进一步的，上述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息，确定所述各单元图像的偏移量估计的成本函数之前，还包括：
获取所述各单元图像的遮挡标记函数；
所述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息，确定所述各单元图像的偏移量估计的成本函数，包括：
根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数。
进一步地，获取所述各单元图像的遮挡标记函数，包括：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示遮挡区域的边界像素具有负的光流值，表示对x方向求偏导，表示对y方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像中坐标为(x,y)的像素强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示上述两个像素的灰度的差值；
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
进一步的，所述遮挡标记函数为：
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
进一步的，上述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，包括：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，α为梯度变化信息的调整系数。
或者，
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，▽为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
进一步的，所述采用所述成本函数，获取所述光场图像中各单元图像的偏移量，包括：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种光场图像处理方法，其特征在于，包括：
获取光场图像；
获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数；
采用所述成本函数，获取所述光场图像中各单元图像的偏移量；
采用所述各单元图像的偏移量，重建高分辨率光场；
所述获取所述各单元图像的遮挡标记函数，包括：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
<mrow> <msub> <mi>c</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mn>0</mn> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示遮挡区域的边界像素具有负的光流值，表示对x方向求偏导，表示对y方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像中坐标为(x,y)的像素强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示上述两个像素的灰度的差值；
<mrow> <msub> <mi>c</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>i</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>i</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
2.根据权利要求1所述的方法，其特征在于，所述遮挡标记函数为：
<mrow> <msub> <mi>f</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>1</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>3</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
3.根据权利要求1所述的方法，其特征在于，所述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，包括：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>n</mi> <mi>s</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;chi;</mi> </mrow> </munder> <mo>{</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>n</mi> <mn>2</mn> </msup> </munderover> <msub> <mi>f</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>&amp;Phi;</mi> <msup> <mrow> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mo>}</mo> </mrow> <mn>2</mn> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>}</mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，为梯度函数，α为梯度变化信息的调整系数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，包括：
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
<mrow> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;chi;</mi> </mrow> </munder> <mi>&amp;Phi;</mi> <mo>&amp;lsqb;</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> <mo>,</mo> </mrow>
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
5.根据权利要求3或4所述的方法，其特征在于，所述采用所述成本函数，获取所述光场图像中各单元图像的偏移量，包括：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
<mrow> <mo>(</mo> <msubsup> <mi>u</mi> <mn>1</mn> <mo>*</mo> </msubsup> <mo>,</mo> <msubsup> <mi>v</mi> <mn>1</mn> <mo>*</mo> </msubsup> <mo>)</mo> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </munder> <mo>{</mo> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>n</mi> <mi>s</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
6.一种光场图像处理装置，其特征在于，包括：
采集模块，用于获取光场图像；
获取模块，用于获取所述光场图像中各单元图像的遮挡标记函数，根据所述光场图像中各单元图像的强度变化信息和梯度变化信息以及所述各单元图像的遮挡标记函数，确定所述各单元图像的偏移量估计的成本函数，采用所述成本函数，获取所述光场图像中各单元图像的偏移量；
重建模块，用于采用所述各单元图像的偏移量，重建高分辨率光场；
所述获取模块，具体用于：
采用下述公式(1)、公式(2)以及公式(3)中的至少一个确定各单元图像的遮挡标记函数：
<mrow> <msub> <mi>c</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mn>0</mn> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，x为单元图像中像素的水平方向坐标，y为单元图像中像素的垂直方向坐标，k为单元图像的序号，uk(x,y)为第k个单元图像在水平方向的偏移量，vk(x,y)为第k个单元图像在垂直方向的偏移量，c1(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的沿视差变化方向的偏移变化量，表示对水平方向求偏导，表示对垂直方向求偏导；
c2(x,y；k)＝ik[x+uk(x,y),y+vk(x,y)]-i1(x,y) (2)
其中，i1(x,y)为第一个单元图像的强度信息，ik(x+uk(x,y),y+vk(x,y))为第k个单元图像中坐标为(x+uk(x,y),y+vk(x,y))的像素的强度信息，c2(x,y；k)表示第k个单元图像中坐标为(x,y)的像素的灰度；
<mrow> <msub> <mi>c</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>x</mi> </msub> <msub> <mi>i</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mo>&amp;part;</mo> <mi>y</mi> </msub> <msub> <mi>i</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mo>(</mo> <mrow> <mi>x</mi> <mo>,</mo> <mi>y</mi> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
其中，c3(x,y；k)表示第k个单元图像的坐标为(x,y)的像素的边缘信息。
7.根据权利要求6所述的装置，其特征在于，所述遮挡标记函数为：
<mrow> <msub> <mi>f</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>1</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>2</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mi>exp</mi> <mo>{</mo> <mo>-</mo> <mfrac> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>c</mi> <mn>3</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>;</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> </mrow> <mn>2</mn> </msup> <mrow> <mn>2</mn> <msubsup> <mi>&amp;sigma;</mi> <mn>3</mn> <mn>2</mn> </msubsup> </mrow> </mfrac> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
其中，exp{}为高斯函数，σ1为高斯函数对应的正态分布的标准偏差，σ2为高斯函数对应的正态分布的标准偏差，σ3为高斯函数对应的正态分布的标准偏差。
8.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：
采用公式(5)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
<mrow> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>n</mi> <mi>s</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;chi;</mi> </mrow> </munder> <mo>{</mo> <munderover> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>1</mn> </mrow> <msup> <mi>n</mi> <mn>2</mn> </msup> </munderover> <msub> <mi>f</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mi>&amp;Phi;</mi> <msup> <mrow> <mo>{</mo> <mo>|</mo> <mo>|</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>|</mo> <mo>}</mo> </mrow> <mn>2</mn> </msup> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>+</mo> <mi>&amp;alpha;</mi> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>i</mi> <mi>k</mi> </msub> <mo>&amp;lsqb;</mo> <mi>x</mi> <mo>+</mo> <msub> <mi>u</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>,</mo> <mi>y</mi> <mo>+</mo> <msub> <mi>v</mi> <mi>k</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>-</mo> <mo>&amp;dtri;</mo> <msub> <mi>i</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>}</mo> <mo>}</mo> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo> </mrow> </mrow>
其中，χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，为梯度函数，α为梯度变化信息的调整系数。
9.根据权利要求6所述的装置，其特征在于，所述获取模块具体用于：
采用公式(6)确定所述各单元图像的偏移量估计的成本函数Γintensity(u1,v1)：
Γintensity(u1,v1)＝Γintensity'(u1,v1)+βΓsmooth(u1,v1) (6)
其中，
<mrow> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> </msub> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> <mo>&amp;Element;</mo> <mi>&amp;chi;</mi> </mrow> </munder> <mi>&amp;Phi;</mi> <mo>&amp;lsqb;</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>+</mo> <mo>|</mo> <mo>|</mo> <mo>&amp;dtri;</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>|</mo> <msup> <mo>|</mo> <mn>2</mn> </msup> <mo>&amp;rsqb;</mo> <mo>,</mo> </mrow>
χ为所述各单元图像的像素坐标集合，Φ()为获取鲁棒特性的凹函数，为梯度函数，Γintensity'(u1,v1)为所述各单元图像的偏移量估计的成本子函数，Γsmooth(u1,v1)为所述各单元图像的偏移量估计的成本函数的平滑项，β为所述平滑项调整系数。
10.根据权利要求8或9所述的装置，其特征在于，所述获取模块具体用于：
采用公式(7)获取所述光场图像中每相邻两个单元图像之间的偏移量：
<mrow> <mo>(</mo> <msubsup> <mi>u</mi> <mn>1</mn> <mo>*</mo> </msubsup> <mo>,</mo> <msubsup> <mi>v</mi> <mn>1</mn> <mo>*</mo> </msubsup> <mo>)</mo> <mo>=</mo> <munder> <mrow> <mi>arg</mi> <mi>min</mi> </mrow> <mrow> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> </mrow> </munder> <mo>{</mo> <msub> <mi>&amp;Gamma;</mi> <mrow> <mi>int</mi> <mi>e</mi> <mi>n</mi> <mi>s</mi> <mi>i</mi> <mi>t</mi> <mi>y</mi> </mrow> </msub> <mo>(</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>v</mi> <mn>1</mn> </msub> <mo>)</mo> <mo>}</mo> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
采用公式(8)和(9)获取所述光场图像中各单元图像的偏移量：
vk(x,y)＝ψkv1(x,y) (9)
其中，公式(7)中，arg为反函数，min为求最小值函数，为u1的估计值，为v1的估计值；
公式(8)中为第k个单元图像在水平方向的偏移量的倍数，公式(9)中ψk为第k个单元图像在垂直方向的偏移量的倍数。
CN201310697583.3A 2013-12-18 2013-12-18 光场图像处理方法和装置 Expired - Fee Related CN104735360B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310697583.3A CN104735360B (zh) 2013-12-18 2013-12-18 光场图像处理方法和装置
EP14191172.7A EP2887310B1 (en) 2013-12-18 2014-10-30 Method and apparatus for processing light-field image
US14/575,091 US9456193B2 (en) 2013-12-18 2014-12-18 Method and apparatus for processing light-field image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310697583.3A CN104735360B (zh) 2013-12-18 2013-12-18 光场图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN104735360A CN104735360A (zh) 2015-06-24
CN104735360B true CN104735360B (zh) 2017-12-22

Family

ID=51900109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310697583.3A Expired - Fee Related CN104735360B (zh) 2013-12-18 2013-12-18 光场图像处理方法和装置

Country Status (3)

Country Link
US (1) US9456193B2 (zh)
EP (1) EP2887310B1 (zh)
CN (1) CN104735360B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106375648B (zh) * 2015-08-31 2019-05-21 北京智谷睿拓技术服务有限公司 图像采集控制方法和装置
CN105704371B (zh) * 2016-01-25 2019-04-26 深圳市未来媒体技术研究院 一种光场重聚焦方法
US10089788B2 (en) 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
CN106803892B (zh) * 2017-03-13 2019-12-03 中国科学院光电技术研究所 一种基于光场测量的光场高清晰成像方法
CN109934283B (zh) * 2019-03-08 2023-04-25 西南石油大学 一种融合cnn和sift光流的自适应运动目标检测方法
CN110708532B (zh) * 2019-10-16 2021-03-23 中国人民解放军陆军装甲兵学院 一种普适光场单元图像生成方法和系统
CN117274067A (zh) * 2023-11-22 2023-12-22 浙江优众新材料科技有限公司 一种基于强化学习的光场图像盲超分辨处理方法与系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
US7595809B2 (en) * 2005-05-11 2009-09-29 Hewlett-Packard Development Company, L.P. Method and system for determining an occlusion cost for concurrently presenting one or more images in a shared viewing region
US7620267B2 (en) * 2006-04-28 2009-11-17 Hewlett-Packard Development Company, L.P. Collage generation with occlusion costing
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
US8315476B1 (en) * 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8693780B2 (en) * 2009-06-22 2014-04-08 Technion Research & Development Foundation Limited Automated collage formation from photographic images
CN101640809B (zh) * 2009-08-17 2010-11-03 浙江大学 一种融合运动信息与几何信息的深度提取方法
US8385630B2 (en) * 2010-01-05 2013-02-26 Sri International System and method of processing stereo images
US20120044320A1 (en) * 2010-03-11 2012-02-23 Trex Enterprises Corp. High resolution 3-D holographic camera
JP5956808B2 (ja) * 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
KR101918057B1 (ko) * 2011-11-30 2019-01-30 삼성전자주식회사 이미지의 깊이 정보를 복원하는 방법 및 장치
CN102523464A (zh) * 2011-12-12 2012-06-27 上海大学 一种双目立体视频的深度图像估计方法
CN102595171B (zh) * 2012-02-03 2014-05-14 浙江工商大学 一种多通道空时编码孔径的动态光场成像方法和成像系统
WO2013166215A1 (en) * 2012-05-01 2013-11-07 Pelican Imaging Corporation CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
EP3869797B1 (en) * 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9214013B2 (en) * 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US8718328B1 (en) * 2013-02-26 2014-05-06 Spinella Ip Holdings, Inc. Digital processing method and system for determination of object occlusion in an image sequence

Also Published As

Publication number Publication date
EP2887310B1 (en) 2016-05-04
CN104735360A (zh) 2015-06-24
US9456193B2 (en) 2016-09-27
EP2887310A1 (en) 2015-06-24
US20150172629A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
CN104735360B (zh) 光场图像处理方法和装置
CN107025632B (zh) 一种图像超分辨率重建方法及系统
US9230303B2 (en) Multi-frame super-resolution of image sequence with arbitrary motion patterns
US20170064204A1 (en) Systems and methods for burst image delurring
DE102011103423B4 (de) System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen
CN106165395B (zh) 图像处理装置、图像处理方法及图像处理程序
CN103544681B (zh) 非均一运动模糊图像的恢复方法
US20110007072A1 (en) Systems and methods for three-dimensionally modeling moving objects
EP2141653A2 (en) Computing higher resolution images from multiple lower resolution images
EP3216216A1 (en) Methods and systems for multi-view high-speed motion capture
CN106997579B (zh) 图像拼接的方法和装置
CN103440676B (zh) 一种基于运动估计的肺4d‑ct图像的超分辨率冠矢状面图像重建方法
Wasza et al. Real-time preprocessing for dense 3-D range imaging on the GPU: defect interpolation, bilateral temporal averaging and guided filtering
Rouf et al. Glare encoding of high dynamic range images
CN106991650A (zh) 一种图像去模糊的方法和装置
US20210110514A1 (en) Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
CN105931210B (zh) 一种高分辨率图像重建方法
CN105931213A (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN111861888A (zh) 图像处理方法、装置、电子设备及存储介质
CN103971349A (zh) 计算机断层扫描图像重建方法和计算机断层扫描设备
CN104318518A (zh) 基于surf匹配和边缘检测的凸集投影图像重构方法
JP2021133247A5 (zh)
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions
CN107155096B (zh) 一种基于半误差反向投影的超分辨率重建方法及装置
CN105913395A (zh) 一种运动目标观测及模糊复原方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171222

CF01 Termination of patent right due to non-payment of annual fee