CN103209307A - 编码重聚焦计算摄像方法及装置 - Google Patents
编码重聚焦计算摄像方法及装置 Download PDFInfo
- Publication number
- CN103209307A CN103209307A CN2013101364161A CN201310136416A CN103209307A CN 103209307 A CN103209307 A CN 103209307A CN 2013101364161 A CN2013101364161 A CN 2013101364161A CN 201310136416 A CN201310136416 A CN 201310136416A CN 103209307 A CN103209307 A CN 103209307A
- Authority
- CN
- China
- Prior art keywords
- image
- burnt
- reunion
- coding
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004364 calculation method Methods 0.000 title abstract 4
- 230000007246 mechanism Effects 0.000 claims abstract description 4
- 230000006835 compression Effects 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 26
- 238000005457 optimization Methods 0.000 claims description 25
- 239000004973 liquid crystal related substance Substances 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 6
- 230000000737 periodic effect Effects 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000012804 iterative process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种编码重聚焦计算摄像方法及装置,其中该方法包括:通过在曝光时间内改变对焦平面,并且在相应的所述对焦平面设置下逐像素编码的传感器的读出时间,以获得单曝光编码重聚焦图像;通过设计不同的调制函数以实现可编程非平面聚焦表面摄像,利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面,通过解复用和三线性插值得到全分辨率的重聚焦图像;以及利用稀疏编码机制,通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。本发明的方法和装置具有简便易行、摄像结果分辨率高的优点。
Description
技术领域
本发明属于计算摄像学领域,具体涉及一种编码重聚焦计算摄像的方法及装置。
背景技术
传统普通相机在摄像过程中需要用户在拍摄之前精心挑选相机参数,并且在视野范围内的聚焦表面都为平面。而近年来的计算相机能够先拍摄后聚焦、灵活景深控制以及实现景深扩展,具有光明的应用前景。对于任何具有这些应用的计算相机都需要光学编码高维的信息,如光场、全聚焦图像和深度到二维传感器并计算解码。
现有的商业计算相机主要包括时差测距相机以及光场相机。时差测距相机通过对场景连续发送光脉冲,传感器接收从物体返回的光,通过测量光脉冲的飞行时间来获取三维几何。光场相机通过采集四维光场来重建三维的重聚焦图像。但是,时差测距相机需要设计复杂传感电路和片上处理,而光场相机只能获得低分辨率的图像。
发明内容
本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。为此,本发明的一个目的在于提出一种具有简便易行、分辨率高的编码重聚焦计算摄像方法。本发明的另一目的在于提出一种具有简便易行、分辨率高的编码重聚焦计算摄像装置。
根据本发明实施例的编码重聚焦计算摄像方法,包括:A.通过在曝光时间内改变对焦平面,并且在相应的所述对焦平面设置下逐像素编码的传感器的读出时间,以获得单曝光编码重聚焦图像;B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像,利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面,通过解复用和三线性插值得到全分辨率的重聚焦图像;以及C.利用稀疏编码机制,通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。
在本发明的一个实施例中,所述步骤A中,令F(y,z)为三维重聚焦图像,其中为二维空间坐标,而z为重聚焦图像的深度维坐标,则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码:其中Ωz为z的取值范围。
在本发明的一个实施例中,所述通过设计不同的调制函数以实现可编程非平面聚焦表面摄像包括:将聚焦表面定义为则所述调制函数为:其中,当非平面传感表面为抛物线形状聚焦表面时或者,当非平面传感表面为阶梯状表面时其中a为常系数,H(·)为阶跃函数。
在本发明的一个实施例中,所述利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面包括:通过交叉式重聚焦摄像,低分辨率的重聚焦图像通过从传感器采集得到的图像I(y)中解复用获得F(yz,z)=I(yz)iM(yz,z),其中M(y,z)为以交叉式表面实施的调制函数,M(y,z)定义为M(y,z)=δ(z-h(y)),其中为周期为T的周期函数,其中g(y)的定义域为[0,T],为卷积算子,假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n),则定义其中rect为门函数,并且{a1,...ai...aj...,an}={1,...,n},ai≠aj,n∈Δy,其中Δy为y的邻域,表明局部传感器区域包含想要解复用的所有n层。
在本发明的一个实施例中,所述压缩得到全分辨率的重聚焦图像包括:使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。
在本发明的一个实施例中,所述步骤C进一步包括:C1.压缩重建初始重聚焦图像;C2.利用重聚焦图像进行散焦深度估计;C3.通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建;C4.通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛,以获取优化的重聚焦图像和深度图;以及C5.通过利用重聚焦图像和深度图以获取最终的全分辨率的全聚焦图像。
本发明的编码重聚焦计算摄像方法使用交替方向数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计,迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取,深度错误通常出现在没有纹理的区域,变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取,本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。
根据本发明实施例的编码重聚焦计算摄像装置,包括:图像采集模块,所述图像采集模块用于采集单曝光编码重聚焦图像;可编程非平面聚焦表面摄像模块,用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像;交叉式重聚焦摄像模块,用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面;重聚焦图像生成模块,用于通过解复用和三线性插值恢复全分辨率的重聚焦图像;和全聚焦图像和深度图生成模块,用于通过采用压缩重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。
在本发明的一个实施例中,所述单曝光编码重聚焦图像采集模块进一步包括:可编程变对焦平面镜头,用于实现时变聚焦平面;第一中继透镜,位于所述可编程变对焦平面镜头和液晶显示屏面板之间,用于中继光路;所述液晶显示屏面板,用于实现逐像素编码曝光;第二中继透镜,位于所述液晶显示屏面板和长焦镜头相机之间,用于中继光路;和所述长焦镜头相机,用于拍摄对象。
在本发明的一个实施例中,所述图像采集模块中,令F(y,z)为三维重聚焦图像,其中为二维空间坐标,而z为重聚焦图像的深度维坐标,则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码:其中Ωz为z的取值范围。
在本发明的一个实施例中,所述可编程非平面聚焦表面摄像模块中:将聚焦表面定义为则所述调制函数为:其中,当非平面传感表面为抛物线形状聚焦表面时或者,当非平面传感表面为阶梯状表面时其中a为常系数,H(·)为阶跃函数。
在本发明的一个实施例中,所述交叉式重聚焦摄像模块中:低分辨率的重聚焦图像通过从传感器采集得到的图像I(y)中解复用获得F(yz,z)=I(yz)iM(yz,z),其中M(y,z)为以交叉式表面实施的调制函数,M(y,z)定义为M(y,z)=δ(z-h(y)),其中m∈Z为周期为T的周期函数,其中g(y)的定义域为[0,T],为卷积算子,假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n),则定义其中rect为门函数,并且
{a1,...ai...aj...,an}={1,...,n},ai≠aj,n∈Δy,其中Δy为y的邻域,表明局部传感器区域包含想要解复用的所有n层。
在本发明的一个实施例中,所述重聚焦图像生成模块中,使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。
在本发明的一个实施例中,所述全聚焦图像和深度图生成模块进一步包括:压缩子模块,所述压缩子模块用于压缩重建初始重聚焦图像;散焦深度估计子模块,所述散焦深度估计模块用于根据重聚焦图像进行散焦深度估计;模糊约束子模块,所述模糊约束子模块用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建;迭代优化子模块,所述迭代优化子模块用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛,以获取优化的重聚焦图像和深度图;和全聚焦图像生成子模块,所述全聚焦图像生成子模块用于利用重聚焦图像和深度图以获取最终的全聚焦图像。
本发明的编码重聚焦计算摄像装置使用交替方向(ADM)数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计,迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取,深度错误通常出现在没有纹理的区域,变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取,本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明实施例的编码重聚焦计算摄像方法的流程图;
图2是本发明实施例的单曝光编码重聚焦图像采集的示意图;
图3是本发明实施例的可编程非平面聚焦表面摄像的示意图;
图4是本发明实施例的交叉式重聚焦表面摄像的示意图;
图5是本发明实施例的压缩重聚焦图像生成过程的示意图;
图6是本发明实施例的编码重聚焦计算摄像装置的结构示意图;和
图7是本发明实施例的图像采集模块的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
为使本领域技术人员更好地理解本发明,先介绍本技术所涉及相关技术背景:
散焦/聚焦深度估计
散焦/聚焦深度估计是一种可以通过使用散焦线索来估计场景深度的深度估计算法。聚焦深度估计通过在重聚焦图像中确定最聚焦的对焦平面设置从而来确定局部深度,因此需要大量的散焦图像来保证重建精度。而散焦深度估计只需要单张或者两张图像通过散焦模糊量来获取场景深度。
光场摄像
光场为包含二维空间和二维角度的四维信息,目前的光场采集技术通常通过牺牲空间或者时间分辨率以复用四维光场至二维传感器,光场采集的重要应用为合成光圈、重聚焦等。
单曝光全聚焦图像和深度获取
现有的一些计算摄像方法可用于在单曝光内恢复全聚焦图像或者同时恢复全聚焦图像及深度图。全聚焦图像和深度图可用于灵活的景深控制。
逐像素编码曝光
逐像素编码曝光在计算机视觉领域已经有大量的应用,包括高动态摄像、特征检测、物体识别、高速运动摄像及运动去模糊等。
压缩计算摄像
通过利用视觉信息的本质冗余来搭建新型的摄像系统是计算摄像领域的一个研究热点,压缩计算摄像通常需要使用随机编码采集冗余信号,并稀疏重建技术恢复原信号。
本发明给出了一种通过联合时变对焦平面和逐像素编码曝光以实现编码重聚焦计算摄像的方法和装置。以时间和空间编码重聚焦摄像为计算采集基础,本发明给出了不同的应用,包括可编程非平面聚焦表面摄像、空间复用重聚焦摄像。通过利用稀疏编码技术,编码重聚焦图像采集机制也可以用于通过采集单张图像恢复全分辨率的深度图和全聚焦图像。编码重聚焦摄将是面向高分辨率的先曝光后聚焦摄像、灵活景深控制及三维摄像计算相机一个重要进展。
如图1所示,根据本发明的编码重聚焦计算摄像方法包括如下步骤:
A.单曝光编码重聚焦图像采集
具体地图2示出了本发明的计算采集方式,其中时变聚焦表面可通过可编程改变镜头位置或者可编程改变传感器的位置实现,而逐像素编码曝光可通过编程传感器像素读出时间实现。其中,令F(y,z)为三维重聚焦图像,其中为二维空间坐标,而z为重聚焦图像的深度维坐标。传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码:
其中Ωz为z的取值范围。下文通过设计特定的调制函数以获取不同的效果,如可编程非平面对焦平面摄像,从单曝光编码图像中重建重聚焦图像等。
B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像,利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面,通过解复用和三线性插值恢复全分辨率的重聚焦图像。具体地:
B1.可编程非平面聚焦表面摄像
通过利用本发明的时空深度调制函数可获取等效的可编程非平面聚焦表面效果,并且虚拟的非平面形状由调制函数决定。由方程(1)可知编码图像在y处的像素强度值是由当调制函数值为1时的重聚焦图像中相同位置处的像素强度值决定的。故形式上聚焦表面可定义为并且调制函数可表达为:
B2.交叉式重聚焦摄像
通过交叉式重聚焦摄像,低分辨率的重聚焦图像F(yz,z),可以通过从传感器采集得到的图像I(y)中解复用获得F(yz,z)=I(yz)iM(yz,z),其中M(y,z)为以交叉式表面实施的调制函数。具体的,M(y,z)可定义为
M(y,z)=δ(z-h(y))(3)
假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n),则g(y)可定义为
其中rect为门函数,并且
{a1,...ai...aj...,an}={1,...,n},ai≠aj,n∈Δy(5)
其中Δy为y的邻域,表明局部传感器区域包含想要解复用的所有n层。
图4(上)为交叉式重聚焦摄像的两个实施特例,图4(下)为解复用的方法,为了获取全分辨率的重聚焦图像,本发明该实施例中对每张三角图像采用双三次插值以获取全分辨的重建结果。
B3.压缩重聚焦摄像
本发明使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。本发明的实施实例使用二值随机调制函数
M(y,z)=rand(y,z)(6)
编码重聚焦图像,其中rand(y,z)∈{0,1}。则重聚焦图像可通过优化下列目标函数获得:
数据项可由公式(1)获取:
其中α为权值因子,Ωz为z的范围。对于正则项,本发明利用重聚焦图像在变换域稀疏的特性,通过最小化系数的l1范数:
其中Ψ为稀疏变换基,本发明的实施特例使用离散余弦变换基(DCT),也可以使用其它的基如小波基等。
C.通过采用迭代优化法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。如图5所示,具体地有:
C1.重聚焦图像中的相对模糊约束
令R(y)表示全聚焦图像,则聚焦于特定深度平面的散焦图像F(y)可表示为:
F(y)=∫x∈N(y)hσ(y,x)R(x)dx(10)
其中N(y)为y的领域,模糊核hσ(y,x)可用高斯卷积模型近似,并且σ(y)=κb(y)为和深度相关的散焦模糊量,κ为校准参数,模糊半径
b(y)=Dv/2·|1/F-1/v-1/s(y)|,其中D代表光圈直径,s代表深度图,v表示聚焦设置,F为焦距。
给定两张已经校准过的散焦图像F(y,z1),F(y,z2),其中zi表示从物体到镜头的距离,聚焦设置并保持其它相机参数一致,基于卷积模型的相对模糊可定义为:
其中 为和深度相关的模糊量。
因此,如果已知深度和相机参数,F(y,z1)和F(y,z2)之间的相对模糊算子Φ可通过使用方程(11)获取,并且用于优化公式(7)的相对模糊约束可形式化为
C2.基于相对模糊的深度估计
利用散焦图像F(y,z1),F(y,z2),深度可通过优化下面优化函数获取
其中Ed(s)和Em(s)为数据项和正则项,γ为权值系数。数据项可形式化为:
其中H(·)为阶跃函数,正则项Em(s)定义为全变差来保证分段深度平滑Em(s)=||▽s(y)||1。
C3.全聚焦图像获取
其中λ为权值系数。数据项定义为
对于正则项使用自然图像的稀疏先验:Em(R)=||▽R(y)||0.8。
C4.重聚焦图像、深度和全聚焦图像恢复
本发明在深度估计和重聚焦图像之间迭代优化直至收敛,然后全聚焦图像可通过优化公式(15)获得。
对于交叉式全聚焦摄像,在获取重聚焦图像之后可直接使用公式(13)进行深度估计。对于压缩重聚焦摄像,由于解复用压缩调制数据的复杂性,本发明仅编码两张不同对焦设置下的重聚焦图像F(y,z1),F(y,z2)以获取高性噪比的解复用结果,并给出了一种反馈机制来保证鲁棒性。
首先,为恢复两张散焦图像在B3部分仅使用空间稀疏性,故进一步使用C1部分的相对模糊约束进行优化。然后使用两张散焦图像从公式(13)获取初始深度,并反馈深度约束正则项至优化公式(7)以进一步优化的解复用的结果:
其中α,β为权值因子,z={z1,z2},并且三个数据项和正则项定义于公式(8)(9)(12)。
在数据采集部分,当相机的对焦平面改变时,散焦图像之间存在尺度缩放,本发明通过仿射变换来近似:y2=ay1+b。对于校准,本发明先使用小光圈并在场景中放置4个标记点来校准参数a,b。因此在使用方程(7)获取初始的两张散焦图像之后,在深度估计之前使用上述仿射变换来校准两张图像。相应的,通过在方程(17)中加入仿射变换算子T并将相对模糊约束变为
本发明的编码重聚焦计算摄像方法使用交替方向(ADM)数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计,迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取,深度错误通常出现在没有纹理的区域,变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取,本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。
如图6所示,本发明还提出一种编码重聚焦计算摄像装置,包括:
图像采集模块10,用于采集单曝光编码重聚焦图像;可编程非平面聚焦表面摄像模块20,用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像;交叉式重聚焦摄像模块30,用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面;重聚焦图像生成模块40,用于通过解复用和三线性插值恢复全分辨率的重聚焦图像;和全聚焦图像和深度图生成模块50,用于通过采用迭代优化法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。
其中,如图7所示,图像采集模块10又进一步包括:可编程变对焦平面镜头110,用于实现时变聚焦平面;第一中继透镜120,位于可编程变对焦平面镜头110和液晶显示屏面板130之间,用于中继光路;液晶显示屏面板130,用于实现逐像素编码曝光;第二中继透镜140,位于液晶显示屏面板130和长焦镜头相机150之间,用于中继光路;长焦镜头相机150,用于摄像。其中,通过利用中继透镜使相机同时对焦于液晶显示屏面板和场景,使得液晶显示屏面板可以作为逐像素编码曝光调制器,通过使用长焦相机的镜头来尽可能的利用相机像素。可编程变对焦平面镜头、液晶显示屏面板和长焦相机曝光控制通过软件控制。
其中,参照本发明的方法,本发明实施例的图像采集模块10中,令F(y,z)为三维重聚焦图像,其中为二维空间坐标,而z为重聚焦图像的深度维坐标,则所述传感器采集的编码图像I(y)通过在单曝光内变对焦平面并同时使用逐像素调制函数M(y,z)编码: 其中Ωz为z的取值范围。
其中,参照本发明的方法,本发明实施例的可编程非平面聚焦表面摄像模块20中:将聚焦表面定义为则所述调制函数为:其中,当非平面传感表面为抛物线形状聚焦表面时或者,当非平面传感表面为阶梯状表面时其中a为常系数,H(·)为阶跃函数。
其中,参照本发明的方法,本发明实施例的交叉式重聚焦摄像模块30中:低分辨率的重聚焦图像F(yz,z),通过从传感器采集得到的图像I(y)中解复用获得F(yz,z)=I(yz)·M(yz,z),其中M(y,z)为以交叉式表面实施的调制函数,M(y,z)定义为M(y,z)=δ(z-h(y)),其中m∈Z为周期为T的周期函数,其中g(y)的定义域为[0,T],为卷积算子,假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n),则定义其中rect为门函数,并且{a1,...ai...aj...,an}={1,...,n},ai≠aj,n∈Δy,其中Δy为y的邻域,表明局部传感器区域包含想要解复用的所有n层。
其中,参照本发明的方法,本发明实施例的重聚焦图像生成模块40中,使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。
其中,参照本发明的方法,本发明实施例的全聚焦图像和深度图生成模块50进一步包括:压缩子模块510,该压缩子模块510用于压缩重建初始重聚焦图像;散焦深度估计子模块520,该散焦深度估计模块520用于根据重聚焦图像进行散焦深度估计;模糊约束子模块530,该模糊约束子模块530用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建;迭代优化子模块540,该迭代优化子模块540用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛,以获取优化的重聚焦图像和深度图;和全聚焦图像生成子模块550,该全聚焦图像生成子模块550用于利用重聚焦图像和深度图以获取最终的全聚焦图像。
本发明的编码重聚焦计算摄像装置使用交替方向(ADM)数值解法来获取深度估计和重聚焦图像优化问题。对于深度估计,迭代过程提供了高质量的散焦图像初值和鲁棒的数值解法。对于散焦图像获取,深度错误通常出现在没有纹理的区域,变换域空间稀疏性的可以提供相应约束。因此迭代过程趋向于收敛。对于全聚焦图像获取,本发明通过扩展迭代重权值最小二乘的方法来处理全局不一致的卷积并从多张散焦图像中包含相关信息。
需要说明的是,本发明的流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (13)
1.一种编码重聚焦计算摄像方法,其特征在于,包括:
A.通过在曝光时间内改变对焦平面,并且在相应的所述对焦平面设置下逐像素编码的传感器的读出时间,以获得单曝光编码重聚焦图像;
B.通过设计不同的调制函数以实现可编程非平面聚焦表面摄像,利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面,通过解复用和三线性插值得到全分辨率的重聚焦图像;以及
C.利用稀疏编码机制,通过采用压缩感知重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。
4.如权利要求1所述的编码重聚焦计算摄像方法,其特征在于,所述利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面包括:
5.如权利要求1所述的编码重聚焦计算摄像方法,其特征在于,所述压缩得到全分辨率的重聚焦图像包括:使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。
6.如权利要求1所述的编码重聚焦计算摄像方法,其特征在于,所述步骤C进一步包括:
C1.压缩重建初始重聚焦图像;
C2.利用重聚焦图像进行散焦深度估计;
C3.通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建;
C4.通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛,以获取优化的重聚焦图像和深度图;以及
C5.通过利用重聚焦图像和深度图以获取最终的全分辨率的全聚焦图像。
7.一种编码重聚焦计算摄像装置,其特征在于,包括:
图像采集模块,所述图像采集模块用于采集单曝光编码重聚焦图像;
可编程非平面聚焦表面摄像模块,用于通过设计不同的调制函数以实现可编程非平面聚焦表面摄像;
交叉式重聚焦摄像模块,用于利用交叉式重聚焦摄像以复用三维重聚焦图像至二维传感器表面;
重聚焦图像生成模块,用于通过解复用和三线性插值恢复全分辨率的重聚焦图像;和
全聚焦图像和深度图生成模块,用于通过采用压缩重建算法并加入相对模糊约束和变换域稀疏约束以获取全分辨率的全聚焦图像和深度图。
8.如权利要求7所述的编码重聚焦计算摄像装置,其特征在于,所述单曝光编码重聚焦图像采集模块进一步包括:
可编程变对焦平面镜头,用于实现时变聚焦平面;
第一中继透镜,位于所述可编程变对焦平面镜头和液晶显示屏面板之间,用于中继光路;
所述液晶显示屏面板,用于实现逐像素编码曝光;
第二中继透镜,位于所述液晶显示屏面板和长焦镜头相机之间,用于中继光路;
所述长焦镜头相机,用于拍摄对象。
11.如权利要求7所述的编码重聚焦计算摄像装置,其特征在于,所述交叉式重聚焦摄像模块中:低分辨率的重聚焦图像F(yz,z),通过从传感器采集得到的图像I(y)中解复用获得F(yz,z)=I(yz)·M(yz,z),其中M(y,z)为以交叉式表面实施的调制函数,M(y,z)定义为M(y,z)=δ(z-h(y)),其中m∈Z为周期为T的周期函数,其中g(y)的定义域为[0,T],为卷积算子,假定离散的重聚焦图像序列为具有n层散焦图像的图像序列(z=1,...,n,T=n),则定义其中rect为门函数,并且{a1,...ai...aj...,an}={1,...,n},ai≠aj,n∈Δy,其中Δy为y的邻域,表明局部传感器区域包含想要解复用的所有n层。
12.如权利要求7所述的编码重聚焦计算摄像装置,其特征在于,所述重聚焦图像生成模块中,使用随机调制函数作为传感矩阵获取单张编码图像,并且使用重聚焦图像的本质稀疏性以恢复全分辨率的重聚焦图像。
13.如权利要求1所述的编码重聚焦计算摄像方法,其特征在于,所述全聚焦图像和深度图生成模块进一步包括:
压缩子模块,所述压缩子模块用于压缩重建初始重聚焦图像;
散焦深度估计子模块,所述散焦深度估计模块用于根据重聚焦图像进行散焦深度估计;
模糊约束子模块,所述模糊约束子模块用于通过深度获取重聚焦图像的相对模糊约束并反馈至重聚焦图像压缩重建;
迭代优化子模块,所述迭代优化子模块用于通过在深度图估计和重聚焦图像重建之间进行迭代优化直到收敛,以获取优化的重聚焦图像和深度图;和
全聚焦图像生成子模块,所述全聚焦图像生成子模块用于利用重聚焦图像和深度图以获取最终的全聚焦图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310136416.1A CN103209307B (zh) | 2013-04-18 | 2013-04-18 | 编码重聚焦计算摄像方法及装置 |
US14/194,931 US9386296B2 (en) | 2013-04-18 | 2014-03-03 | Method and apparatus for coded focal stack photographing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310136416.1A CN103209307B (zh) | 2013-04-18 | 2013-04-18 | 编码重聚焦计算摄像方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103209307A true CN103209307A (zh) | 2013-07-17 |
CN103209307B CN103209307B (zh) | 2016-05-25 |
Family
ID=48756375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310136416.1A Expired - Fee Related CN103209307B (zh) | 2013-04-18 | 2013-04-18 | 编码重聚焦计算摄像方法及装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9386296B2 (zh) |
CN (1) | CN103209307B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079827A (zh) * | 2014-06-27 | 2014-10-01 | 中国科学院自动化研究所 | 一种光场成像自动重对焦方法 |
CN104243837A (zh) * | 2014-08-28 | 2014-12-24 | 浙江大学 | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 |
CN105553894A (zh) * | 2016-01-19 | 2016-05-04 | 南京航空航天大学 | 声矢量阵中一种基于平行因子压缩感知的盲源分离方法 |
CN106373152A (zh) * | 2016-09-18 | 2017-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
CN106937044A (zh) * | 2016-12-14 | 2017-07-07 | 北京信息科技大学 | 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置 |
CN107533139A (zh) * | 2015-03-17 | 2018-01-02 | 康奈尔大学 | 景深成像设备、方法和应用 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9344736B2 (en) * | 2010-09-30 | 2016-05-17 | Alcatel Lucent | Systems and methods for compressive sense imaging |
WO2014193377A1 (en) * | 2013-05-30 | 2014-12-04 | Nokia Corporation | Image refocusing |
TWI549478B (zh) * | 2014-09-04 | 2016-09-11 | 宏碁股份有限公司 | 產生三維影像的方法及其電子裝置 |
US10033917B1 (en) * | 2015-11-13 | 2018-07-24 | Apple Inc. | Dynamic optical shift/tilt lens |
JP6672070B2 (ja) | 2016-05-17 | 2020-03-25 | キヤノン株式会社 | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム |
CN109982090B (zh) * | 2019-03-21 | 2020-07-14 | 西安电子科技大学 | 一种结合灰度熵和盲反卷积的采样率自适应分块压缩感知方法 |
CN115049716A (zh) * | 2022-04-29 | 2022-09-13 | 武汉工程大学 | 散焦深度测量方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101617342A (zh) * | 2007-01-16 | 2009-12-30 | 汤姆科技成像系统有限公司 | 用于动态信息的图形表示的方法和系统 |
CN101902658A (zh) * | 2010-07-19 | 2010-12-01 | 张德忠 | 无重影多目立体图像摄取与重现系统 |
CN102798512A (zh) * | 2012-06-25 | 2012-11-28 | 上海理工大学 | 一种采用单镜头的三维流场图像测量装置及方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK200801722A (en) * | 2008-12-05 | 2010-06-06 | Unisensor As | Optical sectioning of a sample and detection of particles in a sample |
AT509884B1 (de) * | 2010-07-27 | 2011-12-15 | Alicona Imaging Gmbh | Mikroskopieverfahren und -vorrichtung |
US9013554B2 (en) * | 2011-02-28 | 2015-04-21 | Duke University | Systems and methods for comprehensive focal tomography |
JP5780865B2 (ja) * | 2011-07-14 | 2015-09-16 | キヤノン株式会社 | 画像処理装置、撮像システム、画像処理システム |
US8994809B2 (en) * | 2012-07-19 | 2015-03-31 | Sony Corporation | Method and apparatus for simulating depth of field (DOF) in microscopy |
-
2013
- 2013-04-18 CN CN201310136416.1A patent/CN103209307B/zh not_active Expired - Fee Related
-
2014
- 2014-03-03 US US14/194,931 patent/US9386296B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101617342A (zh) * | 2007-01-16 | 2009-12-30 | 汤姆科技成像系统有限公司 | 用于动态信息的图形表示的方法和系统 |
CN101902658A (zh) * | 2010-07-19 | 2010-12-01 | 张德忠 | 无重影多目立体图像摄取与重现系统 |
CN102798512A (zh) * | 2012-06-25 | 2012-11-28 | 上海理工大学 | 一种采用单镜头的三维流场图像测量装置及方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079827A (zh) * | 2014-06-27 | 2014-10-01 | 中国科学院自动化研究所 | 一种光场成像自动重对焦方法 |
CN104079827B (zh) * | 2014-06-27 | 2017-12-22 | 中国科学院自动化研究所 | 一种光场成像自动重对焦方法 |
CN104243837A (zh) * | 2014-08-28 | 2014-12-24 | 浙江大学 | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 |
CN104243837B (zh) * | 2014-08-28 | 2017-06-16 | 浙江大学 | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 |
CN107533139B (zh) * | 2015-03-17 | 2022-02-08 | 康奈尔大学 | 景深成像设备、方法和应用 |
CN107533139A (zh) * | 2015-03-17 | 2018-01-02 | 康奈尔大学 | 景深成像设备、方法和应用 |
CN105553894B (zh) * | 2016-01-19 | 2019-01-29 | 南京航空航天大学 | 声矢量阵中一种基于平行因子压缩感知的盲源分离方法 |
CN105553894A (zh) * | 2016-01-19 | 2016-05-04 | 南京航空航天大学 | 声矢量阵中一种基于平行因子压缩感知的盲源分离方法 |
CN106373152A (zh) * | 2016-09-18 | 2017-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
CN106373152B (zh) * | 2016-09-18 | 2019-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
US10482617B2 (en) | 2016-09-18 | 2019-11-19 | Graduate School At Shenzhen, Tsinghua University | Distance estimation method based on handheld light field camera |
CN106937044B (zh) * | 2016-12-14 | 2020-10-23 | 北京信息科技大学 | 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置 |
CN106937044A (zh) * | 2016-12-14 | 2017-07-07 | 北京信息科技大学 | 不完备数据下由聚焦堆栈重建光场的代数迭代方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103209307B (zh) | 2016-05-25 |
US20140313288A1 (en) | 2014-10-23 |
US9386296B2 (en) | 2016-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103209307A (zh) | 编码重聚焦计算摄像方法及装置 | |
Wang et al. | LFNet: A novel bidirectional recurrent convolutional neural network for light-field image super-resolution | |
CN101438318B (zh) | 减少场景图像中的模糊的方法和场景图像去模糊装置 | |
CN102369556B (zh) | 摄像装置 | |
CN102739945B (zh) | 光场成像装置及方法 | |
KR101991766B1 (ko) | 적응적인 다중-차원 데이터 분해 | |
CN102314683B (zh) | 一种非平面图像传感器的计算成像方法和成像装置 | |
TWI519128B (zh) | 利用多解析度程序產生堅固深度圖的系統與方法 | |
US20090129667A1 (en) | Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
KR20110124701A (ko) | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 | |
CN101872491A (zh) | 基于光度立体的自由视角重光照方法和系统 | |
CN107220931A (zh) | 一种基于灰度级映射的高动态范围图像重建方法 | |
CN102461186A (zh) | 立体图像捕获方法、系统和摄像机 | |
CN107248139B (zh) | 基于显著视觉和dmd阵列分区控制的压缩感知成像方法 | |
JP2007336188A (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
CN109413407A (zh) | 高空间分辨率光场采集装置与图像生成方法 | |
CN105023275A (zh) | 超分辨率光场采集装置及其的三维重建方法 | |
US10785502B2 (en) | Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product | |
CN105681805A (zh) | 视频编码、解码方法及其帧间预测方法和装置 | |
CN104363369A (zh) | 一种光场相机的图像恢复方法及装置 | |
CN104243837A (zh) | 基于单次曝光视频重建的颤振探测和遥感图像恢复方法 | |
EP2061005A2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
JP7168077B2 (ja) | 3次元計測システム及び3次元計測方法 | |
US20120307132A1 (en) | Imaging module, imaging apparatus, image processing apparatus, and image processing method | |
CN107360354A (zh) | 拍照方法、装置、移动终端和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160525 |
|
CF01 | Termination of patent right due to non-payment of annual fee |