CN110246172A - 一种两种深度线索融合的光场全聚焦图像提取方法及系统 - Google Patents
一种两种深度线索融合的光场全聚焦图像提取方法及系统 Download PDFInfo
- Publication number
- CN110246172A CN110246172A CN201910525553.1A CN201910525553A CN110246172A CN 110246172 A CN110246172 A CN 110246172A CN 201910525553 A CN201910525553 A CN 201910525553A CN 110246172 A CN110246172 A CN 110246172A
- Authority
- CN
- China
- Prior art keywords
- response
- light field
- clue
- focus
- confidence level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 title claims abstract description 22
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000012952 Resampling Methods 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 abstract description 20
- 238000005516 engineering process Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000287531 Psittacidae Species 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种两种深度线索融合的光场全聚焦图像提取方法及系统。方法包括：通过光场相机获取光场原始图像；根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。本发明能够解决光场拼接过程中多幅图像转换矩阵计算不精确的问题。
Description
技术领域
本发明涉及光场全聚焦图像提取领域，特别是涉及一种两种深度线索融合的光场全聚焦图像提取方法及系统。
背景技术
国内外学者很多利用光场焦点堆栈重建全景光场。C.BirkBauer利用焦点堆栈重建全景光场，该方法通过简单梯度方法获取光场全聚焦图像计算光场间转换关系，将焦点堆栈拼接，利用线性视图合成技术重建全景光场图像，扩大光场视场角，但是由于梯度方法获取全聚焦图像质量较差，影响特征点数量和质量，造成矩阵估计误差较大，难以精准拼接光场焦点堆栈，并且利用线性视图合成技术重建的光场图像较模糊且损失边缘视场范围。
利用单一线索计算深度会出现局部区域较差问题，如常见的梯度线索，散焦线索，匹配线索。梯度线索由于重聚焦的焦点堆栈图像间距离较近，造成梯度值的大小对比不是很明显，使全局效果较差。散焦线索深度恢复方法对场景中重复纹理区域的鲁棒性比较好，但是散焦方法容易引入散焦误差，导致距离对焦平面比较远的目标物体无法得到准确的深度值。而基于匹配线索得到的深度图在匹配过程中存在多义性，且在实际的应用场景中对噪声，遮挡，弱纹理以及重复纹理区域鲁棒性交叉，还会产生深度不连续的现象，深度图的结果中包含了很多空洞和外点。单一利用一种深度线索计算深度图还存在很多问题，面临着精度低、质量差、鲁棒性差的问题。
发明内容
本发明的目的是提供一种两种深度线索融合的光场全聚焦图像提取方法及系统，能够解决光场拼接过程中多幅图像转换矩阵计算不精确的问题。
为实现上述目的，本发明提供了如下方案：
一种两种深度线索融合的光场全聚焦图像提取方法，包括：
通过光场相机获取光场原始图像；
根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；
计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；
计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；
将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；
根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。
可选的，所述计算所述散焦线索响应的置信度和所述匹配线索响应的置信度，具体包括：
通过公式计算所述散焦线索响应的置信度；
通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
可选的，所述将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵，具体包括：
将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
可选的，所述根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像，具体包括：
根据所述索引矩阵采用公式得到最终光场深度估计值d；
根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
一种两种深度线索融合的光场全聚焦图像提取系统，包括：
图像获取模块，用于通过光场相机获取光场原始图像；
数字重聚焦模块，用于根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；
深度线索响应计算模块，用于计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；
置信度计算模块，用于计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；
加权融合模块，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；
重采样模块，用于根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。
可选的，所述置信度计算模块，具体包括：
散焦线索响应的置信度计算单元，用于通过公式计算所述散焦线索响应的置信度；
匹配线索响应的置信度计算单元，用于通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
可选的，所述加权融合模块，具体包括：
加权融合单元，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
可选的，所述重采样模块，具体包括：
最终光场深度估计值确定单元，用于根据所述索引矩阵采用公式得到最终光场深度估计值d；
光场全聚焦图像确定单元，用于根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明利用光场焦点堆栈图像的散焦和匹配线索，得到光场图像的索引矩阵，然后利用索引矩阵对焦点堆栈图像进行重采样生成光场全聚焦图像，从而解决了光场拼接过程中多幅图像转换矩阵计算不精确的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明两种深度线索融合的光场全聚焦图像提取方法流程图；
图2为本发明两种深度线索融合的光场全聚焦图像提取系统结构图；
图3为本发明原始图像、散焦线索响应和匹配线索响应示意图；
图4为本发明无人机图像不聚焦现象展示图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明中涉及多个专有技术名词：
焦点堆栈：焦点堆栈对于计算机视觉领域来说并非一个全新概念，其本质即为对焦在不同深度处的图像的集合，简而言之就是一组不同曝光和不同聚焦点的照片的组合，并且焦点堆栈不是简单的一系列照片，该组照片除了对焦在不同的深度之外，其他的参数全部相同。其中焦点堆栈中每一张图像都具有自身的景深，所有图像的景深集合起来即为焦点堆栈的景深，焦点堆栈具有丰富的三维信息，包含了场景的深度信息和空间信息，因此通过合并焦点堆栈来获取更大景深的图像。
深度图：深度图就是光场图像所拍摄的场景中的场景点到相机平面的距离，最后生成一幅代表场景点相对深度的图像。
散焦线索：正常的图像满足透镜成像公式，模糊图像或者未对焦图像会出现边缘扩散现象即为散焦线索，散焦线索包含了三维信息，利用散焦线索响应可以计算场景点之间的相对深度。
匹配线索：双目立体视觉中会产生视差，一种基于人类双眼的视差原理，一般是拍摄同一场景的不同视角下的两幅图像。然后根据成像的原理，计算场景中的点在两幅图像中对应像素间的位置偏差，同时结合相机的位置以及相机校正后的固定参数估计场景中的深度。
全聚焦图像：全聚焦图像即为在场景的各个深度面都清楚的图像，没有模糊区域。
实施例1：
图1为本发明两种深度线索融合的光场全聚焦图像提取方法流程图。如图1所示，一种两种深度线索融合的光场全聚焦图像提取方法，包括：
步骤101：通过光场相机获取光场原始图像。
步骤102：根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈。
步骤103：计算所述光场焦点堆栈的散焦线索响应和匹配线索响应。图3为本发明原始图像、散焦线索响应和匹配线索响应示意图。
步骤104：计算所述散焦线索响应的置信度和所述匹配线索响应的置信度，具体包括：
通过公式计算所述散焦线索响应的置信度；
通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
步骤105：将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵，具体包括：
将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
步骤106：根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像，具体包括：
根据所述索引矩阵采用公式得到最终光场深度估计值d；
根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
实施例2：
图2为本发明两种深度线索融合的光场全聚焦图像提取系统结构图。如图2所示，一种两种深度线索融合的光场全聚焦图像提取系统，包括：
图像获取模块201，用于通过光场相机获取光场原始图像；
数字重聚焦模块202，用于根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；
深度线索响应计算模块203，用于计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；
置信度计算模块204，用于计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；
加权融合模块205，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；
重采样模块206，用于根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。
所述置信度计算模块204，具体包括：
散焦线索响应的置信度计算单元，用于通过公式计算所述散焦线索响应的置信度；
匹配线索响应的置信度计算单元，用于通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
所述加权融合模块205，具体包括：
加权融合单元，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
所述重采样模块206，具体包括：
最终光场深度估计值确定单元，用于根据所述索引矩阵采用公式得到最终光场深度估计值d；
光场全聚焦图像确定单元，用于根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
实施例3：
一种两种深度线索融合的光场全聚焦图像提取方法，包括下列步骤：
步骤1：利用光场相机获取交通枢纽现场的光场图片。
步骤2：输入光场原始图像，进行光场图像的数字重聚焦。
作用：通过数字重聚焦来获取光场焦点堆栈，作为算法的输入数据。
重聚焦公式：
式中，Lα为重聚焦之后的光场图像；L为重聚焦之前的光场图像；(s,t)为空间坐标；(u,v)为角度坐标；α为重聚焦参数，即重聚焦后深度与重聚焦之前深度之比。通过改变α的取值，就可以得到不同聚焦平面的重聚焦图像。
步骤3：提取光场图像的散焦线索响应和匹配线索响应。
作用：计算光场焦点堆栈两种深度线索的响应值。
公式：
散焦线索响应定义：
对于某个像素点来说，散焦线索响应的结果值越大，代表该位置的高频分量所占的比率越大，此时该像素点接近理想聚焦状态，其散焦线索响应的值越小，像素点出现扩散现象，其高频分量损失严重，此时像素点处于一种散焦的状态。因此，在焦点堆栈中，通过寻找散焦线索响应的最大值来确定每一个像素点的对焦深度索引，当散焦线索响应为最大值时，该像素点所对应的索引即为该像素点对应的深度值，利用如下公式进行表达：
匹配线索响应定义：
对于重聚焦平面上的像素点(x,y)，以及聚在该像素点上的所有光线R(u,v,x,y,c)，分别计算这些光线在RGB三通道的均值图像μ(x,y,c)和方差σ(x,y,c)，计算方式如下面公式所示：
上述公式中u×v为光场图像的角度分辨率，也是子孔径图像的个数。
因此，像素点匹配线索响应的计算公式如下面公式。
Cα(x,y)＝σ(x,y,c)+|R(0,0,x,y,c)-μ(x,y,c)|
当匹配线索响应为最小值的时候，角度块中的像素灰度值相同，此时角度块中的像素点对应空间中的同一场景点，即为像素点的理想匹配。当匹配线索响应取值较大时，角度块中的像素灰度值差异较大，对应空间中同一场景点的概率较小，像素点达不到匹配的要求。因此对于某个像素点来说，在所有的重聚焦的深度中，找到匹配线索响应最小值所对应的深度值，用下面的公式来表示：
步骤4：计算两种响应的置信度
作用：计算两种响应置信度，将置信度作为两种响应值后续融合的权重。
公式：
采用峰值比来计算散焦置信度和匹配置信度。针对每一个像素点，提取出该像素点在焦点堆栈中每一层的散焦线索响应和匹配线索响应，寻找散焦线索响应最大值和第二最大值以及匹配线索响应的最小值和第二小值，散焦置信度和匹配置信度的计算公式如下：
其中Dα1(x,y)和Dα2(x,y)分别为散焦线索响应的最大值和第二最大值，Cα1(x,y)和Cα2(x,y)分别为匹配线索响应的最小值和第二最小值。
步骤5：图像融合
作用：置信度即为两种深度线索融合时的权重，置信度越大，则该种线索计算的可信度越高，利用上述的置信度作为权重，将两种响应结合起来进行加权融合得到新的索引矩阵。
公式：
其中λc和λD分别为匹配线索响应和散焦线索响应对于深度估计贡献度的系数，本实施例对于二者的值分别取值0.2和0.6。
一般情况下，在不采取全局优化处理的情况下，可以通过“赢者通吃”的方法来获取最终的场景深度估计结果，其过程就是将逐个像素搜索多线索融合后的最小值作为当前像素点的深度值，具体操作如下公式：
步骤6：全聚焦图像提取
作用：利用上一步骤获取的索引矩阵，对焦点堆栈图像进行重采样，生成光场全聚焦图像。
公式：
focus(x,y)＝stack(x,y,d)
其中focus(x,y)即为全聚焦图像，stack是步骤2中通过全聚焦获取的焦点堆栈，x,y分别表示像素坐标，d即为步骤5中索引矩阵在(x,y)处的索引值。
步骤7：将生成的全聚焦图像反馈给车站的监控中心，在监控屏幕上呈现。
本发明的方法可以适用于以下场景：
场景一：无人机拍摄图像
目前，随着科技的进步，无人机的使用范围越来越广，无论大型无人机还是小型无人机其主要用途均是空中拍摄图像。轻小型的无人机在世界范围内呈现出一种阶跃式的发展，国内外都有很多具有代表性的无人机生产商，比如Parrot，AscTec，大疆以及零度智控等公司。小型的无人机具有其独特的优势，比如高机动灵活性，体积小，可以低空拍摄，分辨率比较高，最主要的优势是其分辨率比较高，可以有效的避免传统遥感影像的低分辨率的特性，但是，无人机影像也会存在一些图像模糊的问题，常见的可能因素有：光照对比度，大气问题，机身的震动，飞机的飞行姿态变化以及对焦不准造成的失焦问题，本发明可以应用于改善无人机图像拍摄过程不聚焦现象。图4为本发明无人机图像不聚焦现象展示图。
上述中所说的几种常见的可能造成无人机影像模糊的因素中，可以分为两类，分别为运动模糊以及失焦模糊两种。失焦模糊即为拍摄过程中没有完美对焦造成的模糊现象，失焦模糊一般是多向性的，即图像中每个像素的位移方向根据其焦点呈圆形收缩或放射的方向。而本发明的全聚焦算法可应用于无人机影像拍摄中，作为图像采集和存储的成像设备。如果将光场相机搭载在无人机机身上作为图像采集设备，可以将无人机所拍摄的影像，利用光场重聚焦算法生成聚焦在不同高度的照片，然后利用本发明的方法提取全聚焦高质量的无人机影像图，这样就可以避免由于对焦问题造成的部分场景由于高度不一致造成的模糊现象，比如对焦在地面，则建筑物房顶可能不清楚，对焦在建筑物房顶，可能造成地面或者较低建筑物成像不清楚的现象。
场景二：安防——人脸识别
人脸识别技术，是一种基于人类脸部特征的生物识别技术，人脸识别技术作为人类最具有代表性的一部分具有非常广泛的应用前景。人脸识别的蓬勃发展源于需求和技术的双重进步，一部分源于高清的摄像录像设备普及，比如手机的普及，高清晰度的前后置摄像头为图像处理带来了机遇，如短视频的流行等。其中更重要的是监控设备的普及，也就是涉及到公众安全，社会治安问题，随着社会对治安问题的要求日益增高，大街小巷出现了高清监控摄像头，人脸识别技术无疑是治安中的关键一步。但是传统的摄像头，在拍摄图像时会存在一定的景深问题，造成场景中的人脸无法全部识别，这无疑为治安问题增加了难度和隐患，如果摄像头采用光场成像技术，利用本发明的方法可以提取场景中更多的人脸，为安防增加一份保障。
利用人脸监测的方法去对没有对焦的人脸监测可能无法监测到人脸，而本发明生成全聚焦图像的方法可以使场景中的人脸全部清晰，更利于人脸的监测。通过仿真实验表明利用本发明的算法可同时进行场景不同深度处多人的人脸检测，因此本发明可以应用于利用光场成像技术的监控摄像头中，进行场景中的安防监控，辅助社会治安工作。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种两种深度线索融合的光场全聚焦图像提取方法，其特征在于，包括：
通过光场相机获取光场原始图像；
根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；
计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；
计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；
将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；
根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。
2.根据权利要求1所述的两种深度线索融合的光场全聚焦图像提取方法，其特征在于，所述计算所述散焦线索响应的置信度和所述匹配线索响应的置信度，具体包括：
通过公式计算所述散焦线索响应的置信度；
通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
3.根据权利要求2所述的两种深度线索融合的光场全聚焦图像提取方法，其特征在于，所述将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵，具体包括：
将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
4.根据权利要求3所述的两种深度线索融合的光场全聚焦图像提取方法，其特征在于，所述根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像，具体包括：
根据所述索引矩阵采用公式得到最终光场深度估计值d；
根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
5.一种两种深度线索融合的光场全聚焦图像提取系统，其特征在于，包括：
图像获取模块，用于通过光场相机获取光场原始图像；
数字重聚焦模块，用于根据所述光场原始图像进行数字重聚焦，得到光场焦点堆栈；
深度线索响应计算模块，用于计算所述光场焦点堆栈的散焦线索响应和匹配线索响应；
置信度计算模块，用于计算所述散焦线索响应的置信度和所述匹配线索响应的置信度；
加权融合模块，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度进行加权融合，得到索引矩阵；
重采样模块，用于根据所述索引矩阵对所述光场焦点堆栈进行重采样，得到光场全聚焦图像。
6.根据权利要求5所述的两种深度线索融合的光场全聚焦图像提取系统，其特征在于，所述置信度计算模块，具体包括：
散焦线索响应的置信度计算单元，用于通过公式计算所述散焦线索响应的置信度；
匹配线索响应的置信度计算单元，用于通过公式计算所述匹配线索响应的置信度；
其中，Dα1(x,y)为散焦线索响应的最大值，Dα2(x,y)为散焦线索响应的第二最大值，Cα1(x,y)为匹配线索响应的最小值，Cα2(x,y)为匹配线索响应的第二最小值。
7.根据权利要求6所述的两种深度线索融合的光场全聚焦图像提取系统，其特征在于，所述加权融合模块，具体包括：
加权融合单元，用于将所述散焦线索响应的置信度和所述匹配线索响应的置信度采用公式进行加权融合，得到索引矩阵；
其中，C(x,y,α)为索引矩阵，λc为匹配线索响应对于深度估计贡献度的系数，λD为散焦线索响应对于深度估计贡献度的系数，C′(x,y,α)为alpha层(x,y)的匹配线索响应值，D′(x,y,α)为alpha层(x,y)的散焦线索响应值。
8.根据权利要求7所述的两种深度线索融合的光场全聚焦图像提取系统，其特征在于，所述重采样模块，具体包括：
最终光场深度估计值确定单元，用于根据所述索引矩阵采用公式得到最终光场深度估计值d；
光场全聚焦图像确定单元，用于根据所述最终光场深度估计值采用公式focus(x,y)＝stack(x,y,d)，得到光场全聚焦图像focus(x,y)；
其中，focus(x,y)为光场全聚焦图像，stack为光场焦点堆栈，x,y分别表示像素坐标，d为最终光场深度估计值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525553.1A CN110246172A (zh) | 2019-06-18 | 2019-06-18 | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910525553.1A CN110246172A (zh) | 2019-06-18 | 2019-06-18 | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110246172A true CN110246172A (zh) | 2019-09-17 |
Family
ID=67887800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910525553.1A Pending CN110246172A (zh) | 2019-06-18 | 2019-06-18 | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110246172A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465796A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 |
| CN112669355A (zh) * | 2021-01-05 | 2021-04-16 | 北京信息科技大学 | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统 |
| CN116347231A (zh) * | 2023-04-12 | 2023-06-27 | 北京大学 | 一种基于事件相机的全聚焦成像方法及系统 |
| CN116823914A (zh) * | 2023-08-30 | 2023-09-29 | 中国科学技术大学 | 基于全对焦图像合成的无监督焦点堆栈深度估计方法 |
| CN117253054A (zh) * | 2023-11-20 | 2023-12-19 | 浙江优众新材料科技有限公司 | 一种光场显著性检测方法及其相关设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3035285A1 (en) * | 2014-12-19 | 2016-06-22 | Thomson Licensing | Method and apparatus for generating an adapted slice image from a focal stack |
| CN107995424A (zh) * | 2017-12-06 | 2018-05-04 | 太原科技大学 | 基于深度图的光场全聚焦图像生成方法 |
| CN109360235A (zh) * | 2018-09-29 | 2019-02-19 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于光场数据的混合深度估计方法 |
-
2019
- 2019-06-18 CN CN201910525553.1A patent/CN110246172A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3035285A1 (en) * | 2014-12-19 | 2016-06-22 | Thomson Licensing | Method and apparatus for generating an adapted slice image from a focal stack |
| CN107995424A (zh) * | 2017-12-06 | 2018-05-04 | 太原科技大学 | 基于深度图的光场全聚焦图像生成方法 |
| CN109360235A (zh) * | 2018-09-29 | 2019-02-19 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于光场数据的混合深度估计方法 |
Non-Patent Citations (3)
| Title |
|---|
| MICHAEL W. TAO等: "Depth from Combining Defocus and Correspondence Using Light-Field Cameras", 《2013 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
| 潘佳琪: "基于深度线索的光场相机深度估计研究", 《中国优秀硕士学位论文全文数据库》 * |
| 蘇丶: "光场相机重聚交--焦点堆栈深度估计法", 《HTTPS://BLOG.CSDN.NET/WEIXIN_38285131/ARTICLE/DETAILS/80471985》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465796A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 |
| CN112465796B (zh) * | 2020-12-07 | 2023-11-21 | 清华大学深圳国际研究生院 | 一种融合焦点堆栈和全聚焦图像的光场特征提取方法 |
| CN112669355A (zh) * | 2021-01-05 | 2021-04-16 | 北京信息科技大学 | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统 |
| CN112669355B (zh) * | 2021-01-05 | 2023-07-25 | 北京信息科技大学 | 基于rgb-d超像素分割的聚焦堆栈数据拼接融合的方法及系统 |
| CN116347231A (zh) * | 2023-04-12 | 2023-06-27 | 北京大学 | 一种基于事件相机的全聚焦成像方法及系统 |
| CN116347231B (zh) * | 2023-04-12 | 2023-10-10 | 北京大学 | 一种基于事件相机的全聚焦成像方法及系统 |
| CN116823914A (zh) * | 2023-08-30 | 2023-09-29 | 中国科学技术大学 | 基于全对焦图像合成的无监督焦点堆栈深度估计方法 |
| CN116823914B (zh) * | 2023-08-30 | 2024-01-09 | 中国科学技术大学 | 基于全对焦图像合成的无监督焦点堆栈深度估计方法 |
| CN117253054A (zh) * | 2023-11-20 | 2023-12-19 | 浙江优众新材料科技有限公司 | 一种光场显著性检测方法及其相关设备 |
| CN117253054B (zh) * | 2023-11-20 | 2024-02-06 | 浙江优众新材料科技有限公司 | 一种光场显著性检测方法及其相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110246172A (zh) | 一种两种深度线索融合的光场全聚焦图像提取方法及系统 | |
| WO2019100933A1 (zh) | 用于三维测量的方法、装置以及系统 | |
| CN104050662B (zh) | 一种用光场相机一次成像直接获取深度图的方法 | |
| CN103971375B (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
| CN111582022B (zh) | 一种移动视频与地理场景的融合方法、系统及电子设备 | |
| Chen et al. | Transforming a 3-d lidar point cloud into a 2-d dense depth map through a parameter self-adaptive framework | |
| CN109712232B (zh) | 一种基于光场的物体表面轮廓三维成像方法 | |
| Shi et al. | Accurate 3-dof camera geo-localization via ground-to-satellite image matching | |
| CN113052066B (zh) | 三维目标检测中基于多视图和图像分割的多模态融合方法 | |
| CN101916455A (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
| CN113256699B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN109883433B (zh) | 基于360度全景视图的结构化环境中车辆定位方法 | |
| CN105787876A (zh) | 一种基于surf特征跟踪匹配的全景视频自动拼接方法 | |
| CN110009675A (zh) | 生成视差图的方法、装置、介质及设备 | |
| CN107036579A (zh) | 一种基于单目液透镜变焦光学系统的目标相对定位方法 | |
| CN109255809A (zh) | 一种光场图像深度估计方法及装置 | |
| US11703820B2 (en) | Monitoring management and control system based on panoramic big data | |
| CN114359406A (zh) | 自动对焦双目摄像头的标定、3d视觉及深度点云计算方法 | |
| CN102780834A (zh) | 环眼镜头图像半柱面全景展开方法 | |
| CN109544455B (zh) | 一种超长高清实景长卷无缝融合方法 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| CN114663599A (zh) | 一种基于多视图的人体表面重建方法及系统 | |
| Zhao et al. | An ORB-SLAM3 Autonomous Positioning and Orientation Approach using 360-degree Panoramic Video | |
| CN112288669B (zh) | 一种基于光场成像的点云地图获取方法 | |
| CN112001970A (zh) | 一种基于点线特征的单目视觉里程计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190917 |
|
| RJ01 | Rejection of invention patent application after publication |