CN107403423A - 一种光场相机的合成孔径去遮挡方法 - Google Patents
一种光场相机的合成孔径去遮挡方法 Download PDFInfo
- Publication number
- CN107403423A CN107403423A CN201710653078.7A CN201710653078A CN107403423A CN 107403423 A CN107403423 A CN 107403423A CN 201710653078 A CN201710653078 A CN 201710653078A CN 107403423 A CN107403423 A CN 107403423A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- mrow
- image
- view image
- remaining multi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000000007 visual effect Effects 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 6
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 6
- 238000013459 approach Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000000717 retained effect Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001568 sexual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种光场相机的合成孔径去遮挡方法，包括：根据输入的光场信息，得到所有子孔径图像；检测所有子孔径图像的特征点；在中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体；对前一步骤得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对；通过筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵；通过单映性变换矩阵对其余视角图像进行映射；对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。本发明能够去除镜头前小尺寸遮挡物，从而获得遮挡物后方的信息。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种光场相机的合成孔径去遮挡方法。
背景技术
1936年Gershun提出光场的概念，用于描述光线辐射亮度的传输特性。1996年斯坦福大学的Marc Levoy等人提出光场技术，用于采集光场信息。采集光场信息的手段主要有两种：一种是通过微透镜阵列，一种是相机阵列技术。斯坦福大学的Vaibhav Vaish等人提出的基于相机阵列的合成口径成像技术，对于光场信息的采集非常有效，能够观察到被遮挡的物体的表面信息，在监控、军事等方面展现出了巨大的潜力。
采集光场信息的另外一个途径是通过微透镜阵列来记录光场的方向信息。斯坦福的RenNG等人做出了商业化的手持式光场相机Lytro和Illum；它们利用相机中的微透镜阵列来记录入射光线的方向，利用感光元件来记录光线的强度，由此记录光场的信息。但是，目前缺少研究光场相机的子孔径合成问题的理论。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明的主要目的在于提供一种光场相机的合成孔径去遮挡方法，能够去除镜头前小尺寸遮挡物，从而获得遮挡物后方的信息。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种光场相机的合成孔径去遮挡方法，包括以下步骤：
A1：根据输入的光场信息，得到所有子孔径图像，所有子孔径图像包括中心视角图像和其余视角图像；
A2：检测所有子孔径图像的特征点；
A3：在所述中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体；
A5：对前一步骤得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对；
A6：通过筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵；
A7：通过单映性变换矩阵对其余视角图像进行映射；
A8：对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。
优选地，步骤A3中所选区域内的在目标平面上的特征点的数量大于在遮挡物上的特征点的数量。
优选地，步骤A1还包括：计算所述中心视角图像的深度信息；
在步骤A3和步骤A5之间还包括步骤A4：结合所述中心视角图像的深度信息，根据预设条件对于步骤A3中所选区域内的特征点进行筛选。
优选地，步骤A4中具体包括：
A42：计算步骤A3中得到的所有特征点的平均深度：
其中，N为步骤A3中保留的特征点的数量，depi表示第i个特征点的深度，average为步骤A3中保留的特征点的平均深度；
A43：计算步骤A3中得到的所有特征点的深度的标准差：
其中，σ为步骤A3中保留的特征点的深度的标准差；
A44：利用下述预设条件来筛选出满足要求的特征点：
|depi-average|＜σ (4)
其中满足式(4)的特征点将会被保留，不满足的将被舍弃。
优选地，步骤A4还包括：
A41：计算步骤A3中得到的所有特征点中坐标不在整数像素上的特征点的深度：
f(i+m,j+n)＝(1-m)(1-n)f(i,j)+(1-m)nf(i,j+1)+m(1-n)f(i+1,j)+mnf(i+1,j+1)
(1)
其中，f(i+m,j+n)为特征点的坐标，f(i,j)、f(i+1,j)、f(i,j+1)和f(i+1,j+1)是特征点周围四个像素点的深度值，(m,n)是特征点坐标相对于整数坐标点的偏移。
优选地，步骤A5具体为：利用欧氏距离作为代价函数，并运用互为最近点的原则对前一步骤得到的特征点和其余视角图像的特征点进行匹配，并利用代价函数阈值筛选出特征点对。
优选地，步骤A5具体包括：
A51：对于前一步骤得到的所有特征点，运用下式在其余视角图像viewu,v的特征点中挑选特征点的最近点：
P(i)＝argmin{(xi-x'j)2+(yi-y'j)2} (5)
其中，(xi,yi)为前一步骤得到的第i个特征点的坐标，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，P(i)为前一步骤得到的第i个特征点在其余视角图像viewu,v中挑选出的最近点的序号；
A52：对于其余视角图像viewu,v的所有特征点，运用下式在前一步骤得到的特征点中挑选特征点的最近点：
Q(j)＝argmin{(xi-x'j)2+(yi-y'j)2} (6)
其中，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，(xi,yi)为前一步骤得到的第i个特征点的坐标，Q(j)为其余视角图像viewu,v的第j个特征点在前一步骤得到的特征点中挑选出的最近点的序号；
A53：对于所有特征点，如果满足下式，则满足互为最近点的原则，即为一对相互匹配的特征点，否则不是一对相互匹配的特征点：
其中，P(s)表示前一步骤得到的第s个特征点的最近点的序号，Q(t)表示其余视角图像viewu,v的第t特征点的最近点的序号；
A54：筛选出满足下式的相互匹配的特征点：
(xs-x't)2+(ys-y't)2＜threshlod (8)
其中，(xs,ys)和(xt',yt')是步骤A53中匹配的特征点对的坐标，threshlod是特征点距离的阈值。
优选地，步骤A6具体为：结合步骤A5筛选出的特征点对，采用连续一致抽样检测算法来计算计算中心视角图像和其他时间图像的单映性变换矩阵。
优选地，步骤A7具体为：利用步骤A6计算得到的单映性变换矩阵，采用下式对其余视角图像进行映射：
Xuv'＝HuvXuv (9)
其中，Xuv是其余视角图像viewu,v的空间位置，Xuv'是映射后的空间位置，Huv是对应的单映性变换矩阵。
优选地，步骤A8具体为：对所有映射后的其余视角图像，按照空间位置求像素平均，合成图像的任意一个像素处的强度的计算公式为：
其中，Ii'是第i个映射后的子孔径图像在这个像素处的单通道强度，M是其余视角图像的个数，Is为所有映射后的其余视角图像在这个像素位置处的强度的平均值。
与现有技术相比，本发明的有益效果在于：本发明的光场相机的合成孔径去遮挡方法通过输入的光场信息得到包括中心视角图像和其余视角图像的所有子孔径图像，检测所有子孔径图像的特征点，然后在中心视角图像上选取包含有遮挡物的一块区域，并对特征点进行匹配和对特征点对进行筛选，以计算视角之间的单映性关系，将所有的子孔径图像映射到相同的空间位置，然后对所有映射后的图像求平均，即可得到合成孔径图像；通过本发明的光场相机的合成孔径去遮挡方法可以合成孔径图像，能够去除镜头前小尺寸遮挡物，从而获得遮挡物后方的信息。
在进一步的方案中，在对特征点进行匹配之前还结合深度信息对特征点进行筛选，以提高计算的效率，节省计算资源。其中，利用代价函数和互为最近点的原则对特征点进行配对，并利用特征点的代价函数的阈值来挑选合适的特征点对，也更进一步提高计算的效率。
附图说明
图1是本发明优选实施例的光场相机的合成孔径去遮挡方法的流程图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示，本发明优选实施例的光场相机的合成孔径去遮挡方法，包括以下步骤：
A1：深度计算：根据输入的光场信息，得到所有子孔径图像，所有子孔径图像包括中心视角图像和其余视角图像，计算所述中心视角图像的深度信息；
在本实施例中，输入的是5D的光场信息，结合光场信息的深度特征，利用深度算法计算得到中心视角每个像素处的深度值。
A2：特征点检测：检测所有子孔径图像的特征点，获取它们的坐标。
在本实施例中，利用特征点检测算法提取所有子孔径图像的特征点。
A3：区域选择：在所述中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体。
在本实施例中，所选区域内在目标平面上的特征点的数量明显多于在遮挡物上的特征点的数量。
A4：特征点过滤：根据步骤A1中的所述中心视角图像的深度信息结合预设条件对步骤A3中的特征点进行筛选。
在本实施例，步骤A4具体包括以下步骤：
A41：计算坐标不在整数像素上的特征点的深度：
f(i+m,j+n)＝(1-m)(1-n)f(i,j)+(1-m)nf(i,j+1)+m(1-n)f(i+1,j)+mnf(i+1,j+1)
(1)
其中，f(i+m,j+n)为特征点的坐标，f(i,j)、f(i+1,j)、f(i,j+1)和f(i+1,j+1)是特征点周围四个像素点的深度值，(m,n)是特征点坐标相对于整数坐标点的偏移。
通过公式(1)可以计算坐标不在整数像素上的特征点的深度。
A42：计算步骤A3中得到的所有特征点的平均深度：
其中，N为步骤A3中保留的特征点的数量，depi表示第i个特征点的深度，average为步骤A3中保留的特征点的平均深度；
A43：计算步骤A3中得到的所有特征点的深度的标准差：
其中，σ为步骤A3中保留的特征点的深度的标准差。
A44：利用下述预设条件来筛选出满足要求的特征点：
|depi-average|＜σ (4)
其中满足式(4)的特征点将会被保留，不满足的将被舍弃。
A5：特征点匹配和特征点对筛选：对步骤A4中得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对。
在本实施例，利用欧氏距离作为代价函数，并运用互为最近点的原则对步骤A4得到的特征点和其余视角图像的特征点进行配对，利用代价函数阈值筛选出特征点对；即进一步步骤A5具体包括以下步骤：
A51：对于步骤A4得到的所有特征点，运用下式在其余视角图像viewu,v的特征点中挑选特征点的最近点：
P(i)＝argmin{(xi-x'j)2+(yi-y'j)2} (5)
其中，(xi,yi)为步骤A4得到的第i个特征点的坐标，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，P(i)为步骤A4得到的第i个特征点在其余视角图像viewu,v中挑选出的最近点的序号；
A52：对于其余视角图像viewu,v的所有特征点，运用下式在步骤A4得到的特征点中挑选特征点的最近点：
Q(j)＝argmin{(xi-x'j)2+(yi-y'j)2} (6)
其中，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，(xi,yi)为步骤A4得到的第i个特征点的坐标，Q(j)为其余视角图像viewu,v的第j个特征点在步骤A4得到的特征点中挑选出的最近点的序号；
A53：对于所有特征点，如果满足下式，则被认为满足互为最近点的原则，则被认为是一对相互匹配的特征点，否则不是一对相互匹配的特征点：
其中，P(s)表示步骤A4得到的第s个特征点的最近点的序号，Q(t)表示其余视角图像viewu,v的第t特征点的最近点的序号；
A54：对求得的相互匹配的特征点进行筛选，如果满足下式，则会被用于计算单映性变换矩阵：
(xs-x't)2+(ys-y't)2＜threshlod (8)
其中，(xs,ys)和(xt',yt')是步骤A53中匹配的特征点对的坐标，threshlod是特征点距离的阈值。
A6：计算单映性变换矩阵：通过步骤A5筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵。
本实施例中，结合步骤A5筛选出的特征点对，采用连续一致抽样检测算法(RANSAC算法)来计算计算中心视角图像和其他时间图像的单映性变换矩阵。
A7：映射子孔径图像：利用步骤A6计算得到的单映性变换矩阵，对其余视角图像进行映射，映射满足下式：
Xuv'＝HuvXuv (9)
其中，Xuv是其余视角图像viewu,v的空间位置，Xuv'是映射后的空间位置，Huv是对应的单映性变换矩阵。
A8：合成图像：对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。
在本实施例中，对所有映射后的其余视角图像，按照空间位置求像素平均(如果是三通道的彩色图片，求各个通道的均值)，合成图像的任意一个像素处的强度的计算公式为：
其中，Ii'是第i个映射后的子孔径图像在这个像素处的单通道强度，M是其余视角图像的个数，Is为所有映射后的其余视角图像在这个像素位置处的强度的平均值。
本发明为了能够得到被遮挡的物体的表面信息，利用合成孔径的方法对输入的子孔径图像进行合成，即可得到带有不同的视角信息的图像；在多视角信息的合成图像中，由于角度关系，遮挡物变得模糊，遮挡物后的物体的表面信息就变得清楚。本发明的去遮挡方法的思路是：利用视角之间的单映性关系，将所有的子孔径图像映射到相同的空间位置，然后对所有映射后的图像求平均，即可得到合成孔径图像。其中的核心是利用特征点求单映性变换矩阵的过程，这个过程分为三步：特征点的挑选、特征点的匹配和特征点对的挑选；并且本发明结合深度信息，对中心视角中的特征点进行了挑选，然后利用代价函数和互为最近点的法则对特征点配对，并利用特征点的代价函数的阈值来挑选合适的特征点对。通过本发明的光场相机的合成孔径去遮挡方法，可以得到合成孔径图像，能够去除镜头前小尺寸遮挡物，从而获得遮挡物后方的信息。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种光场相机的合成孔径去遮挡方法，其特征在于，包括以下步骤：
A1：根据输入的光场信息，得到所有子孔径图像，所有子孔径图像包括中心视角图像和其余视角图像；
A2：检测所有子孔径图像的特征点；
A3：在所述中心视角图像上选择一块区域，保留所选区域内的特征点，舍弃所选区域外的特征点，其中所选区域内包含有遮挡物和被遮挡的目标平面上的物体；
A5：对前一步骤得到的特征点和其余视角图像的特征点进行匹配，筛选得到特征点对；
A6：通过筛选出的特征点对来计算中心视角图像和其余视角图像的单映性变换矩阵；
A7：通过单映性变换矩阵对其余视角图像进行映射；
A8：对所有映射后的子孔径图像取平均，得到最终的子孔径合成图像。
2.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A3中所选区域内的在目标平面上的特征点的数量大于在遮挡物上的特征点的数量。
3.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A1还包括：计算所述中心视角图像的深度信息；
在步骤A3和步骤A5之间还包括步骤A4：结合所述中心视角图像的深度信息，根据预设条件对于步骤A3中所选区域内的特征点进行筛选。
4.根据权利要求3所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A4中具体包括：
A42：计算步骤A3中得到的所有特征点的平均深度：
<mrow>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>N</mi>
</mrow>
</munder>
<msub>
<mi>dep</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，N为步骤A3中保留的特征点的数量，depi表示第i个特征点的深度，average为步骤A3中保留的特征点的平均深度；
A43：计算步骤A3中得到的所有特征点的深度的标准差：
<mrow>
<mi>&sigma;</mi>
<mo>=</mo>
<msqrt>
<mrow>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>N</mi>
</mrow>
</munder>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>dep</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<mi>a</mi>
<mi>v</mi>
<mi>e</mi>
<mi>r</mi>
<mi>a</mi>
<mi>g</mi>
<mi>e</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，σ为步骤A3中保留的特征点的深度的标准差；
A44：利用下述预设条件来筛选出满足要求的特征点：
|depi-average|＜σ (4)
其中满足式(4)的特征点将会被保留，不满足的将被舍弃。
5.根据权利要求4所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A4还包括：
A41：计算步骤A3中得到的所有特征点中坐标不在整数像素上的特征点的深度：
f(i+m,j+n)＝(1-m)(1-n)f(i,j)+(1-m)nf(i,j+1)+m(1-n)f(i+1,j)+mnf(i+1,j+1)
(1)
其中，f(i+m,j+n)为特征点的坐标，f(i,j)、f(i+1,j)、f(i,j+1)和f(i+1,j+1)是特征点周围四个像素点的深度值，(m,n)是特征点坐标相对于整数坐标点的偏移。
6.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A5具体为：利用欧氏距离作为代价函数，并运用互为最近点的原则对前一步骤得到的特征点和其余视角图像的特征点进行匹配，并利用代价函数阈值筛选出特征点对。
7.根据权利要求5所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A5具体包括：
A51：对于前一步骤得到的所有特征点，运用下式在其余视角图像viewu,v的特征点中挑选特征点的最近点：
P(i)＝argmin{(xi-x'j)2+(yi-y'j)2} (5)
其中，(xi,yi)为前一步骤得到的第i个特征点的坐标，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，P(i)为前一步骤得到的第i个特征点在其余视角图像viewu,v中挑选出的最近点的序号；
A52：对于其余视角图像viewu,v的所有特征点，运用下式在前一步骤得到的特征点中挑选特征点的最近点：
Q(j)＝argmin{(xi-x'j)2+(yi-y'j)2} (6)
其中，(x'j,y'j)为其余视角图像viewu,v的第j个特征点的坐标，(xi,yi)为前一步骤得到的第i个特征点的坐标，Q(j)为其余视角图像viewu,v的第j个特征点在前一步骤得到的特征点中挑选出的最近点的序号；
A53：对于所有特征点，如果满足下式，则满足互为最近点的原则，即为一对相互匹配的特征点，否则不是一对相互匹配的特征点：
<mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>s</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>t</mi>
<mo>,</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>Q</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>s</mi>
<mo>;</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，P(s)表示前一步骤得到的第s个特征点的最近点的序号，Q(t)表示其余视角图像viewu,v的第t特征点的最近点的序号；
A54：筛选出满足下式的相互匹配的特征点：
(xs-x't)2+(ys-y't)2＜threshlod (8)
其中，(xs,ys)和(xt',yt')是步骤A53中匹配的特征点对的坐标，threshlod是特征点距离的阈值。
8.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A6具体为：结合步骤A5筛选出的特征点对，采用连续一致抽样检测算法来计算计算中心视角图像和其他时间图像的单映性变换矩阵。
9.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A7具体为：利用步骤A6计算得到的单映性变换矩阵，采用下式对其余视角图像进行映射：
Xuv'＝HuvXuv (9)
其中，Xuv是其余视角图像viewu,v的空间位置，Xuv'是映射后的空间位置，Huv是对应的单映性变换矩阵。
10.根据权利要求1所述的光场相机的合成孔径去遮挡方法，其特征在于，步骤A8具体为：对所有映射后的其余视角图像，按照空间位置求像素平均，合成图像的任意一个像素处的强度的计算公式为：
<mrow>
<msub>
<mi>I</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<mi>M</mi>
</mrow>
</munder>
<msup>
<msub>
<mi>I</mi>
<mi>i</mi>
</msub>
<mo>&prime;</mo>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，Ii'是第i个映射后的子孔径图像在这个像素处的单通道强度，M是其余视角图像的个数，Is为所有映射后的其余视角图像在这个像素位置处的强度的平均值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710653078.7A CN107403423B (zh) | 2017-08-02 | 2017-08-02 | 一种光场相机的合成孔径去遮挡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710653078.7A CN107403423B (zh) | 2017-08-02 | 2017-08-02 | 一种光场相机的合成孔径去遮挡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403423A true CN107403423A (zh) | 2017-11-28 |
| CN107403423B CN107403423B (zh) | 2019-12-03 |
Family
ID=60401860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710653078.7A Active CN107403423B (zh) | 2017-08-02 | 2017-08-02 | 一种光场相机的合成孔径去遮挡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403423B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
| CN108460747A (zh) * | 2018-04-12 | 2018-08-28 | 清华大学深圳研究生院 | 一种光场相机的子孔径合成去遮挡方法 |
| CN109118544A (zh) * | 2018-07-17 | 2019-01-01 | 南京理工大学 | 基于透视变换的合成孔径成像方法 |
| CN109166079A (zh) * | 2018-08-01 | 2019-01-08 | 清华大学深圳研究生院 | 一种混合合成运动矢量与亮度聚类的去遮挡方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111696116A (zh) * | 2020-04-30 | 2020-09-22 | 杨墨轩 | 一种应用相机阵列实现图像遮挡物移除方法 |
| CN111970424A (zh) * | 2020-08-25 | 2020-11-20 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5283672A (en) * | 1992-05-04 | 1994-02-01 | Rockwell International Corporation | Holographic techniques for generating high resolution telescopic images |
| US20080007733A1 (en) * | 2006-07-10 | 2008-01-10 | The Board Of Trustees Of The University Of Illinois | Volumetric endoscopic coherence microscopy using a coherent fiber bundle |
| CN103093460A (zh) * | 2013-01-06 | 2013-05-08 | 西北工业大学 | 基于平行视差的移动相机虚拟阵列标定方法 |
| CN103426170A (zh) * | 2013-07-29 | 2013-12-04 | 西北工业大学 | 基于非结构光场合成孔径成像的隐藏目标成像方法 |
| CN103885066A (zh) * | 2014-03-21 | 2014-06-25 | 中国科学院上海光学精密机械研究所 | 合成孔径激光成像雷达两维卷积成像方法 |
| CN105719317A (zh) * | 2016-01-22 | 2016-06-29 | 陕西师范大学 | 基于相机阵列合成孔径成像的遮挡背景估计方法 |
| CN105741318A (zh) * | 2016-01-22 | 2016-07-06 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
-
2017
- 2017-08-02 CN CN201710653078.7A patent/CN107403423B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5283672A (en) * | 1992-05-04 | 1994-02-01 | Rockwell International Corporation | Holographic techniques for generating high resolution telescopic images |
| US20080007733A1 (en) * | 2006-07-10 | 2008-01-10 | The Board Of Trustees Of The University Of Illinois | Volumetric endoscopic coherence microscopy using a coherent fiber bundle |
| CN103093460A (zh) * | 2013-01-06 | 2013-05-08 | 西北工业大学 | 基于平行视差的移动相机虚拟阵列标定方法 |
| CN103426170A (zh) * | 2013-07-29 | 2013-12-04 | 西北工业大学 | 基于非结构光场合成孔径成像的隐藏目标成像方法 |
| CN103885066A (zh) * | 2014-03-21 | 2014-06-25 | 中国科学院上海光学精密机械研究所 | 合成孔径激光成像雷达两维卷积成像方法 |
| CN105719317A (zh) * | 2016-01-22 | 2016-06-29 | 陕西师范大学 | 基于相机阵列合成孔径成像的遮挡背景估计方法 |
| CN105741318A (zh) * | 2016-01-22 | 2016-07-06 | 陕西师范大学 | 基于自动目标提取的全聚焦合成孔径成像方法 |
Non-Patent Citations (2)
| Title |
|---|
| MICHAEL W. TAO ET AL.: "Depth from Combining Defocus and Correspondence Using Light-Field Cameras", 《IEEE》 * |
| 周志良: "光场成像技术研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108171141A (zh) * | 2017-12-25 | 2018-06-15 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
| CN108171141B (zh) * | 2017-12-25 | 2020-07-14 | 淮阴工学院 | 基于注意力模型的级联多模式融合的视频目标跟踪方法 |
| CN108460747B (zh) * | 2018-04-12 | 2020-09-18 | 清华大学深圳研究生院 | 一种光场相机的子孔径合成去遮挡方法 |
| CN108460747A (zh) * | 2018-04-12 | 2018-08-28 | 清华大学深圳研究生院 | 一种光场相机的子孔径合成去遮挡方法 |
| WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
| CN109118544A (zh) * | 2018-07-17 | 2019-01-01 | 南京理工大学 | 基于透视变换的合成孔径成像方法 |
| CN109118544B (zh) * | 2018-07-17 | 2022-05-27 | 南京理工大学 | 基于透视变换的合成孔径成像方法 |
| CN109166079A (zh) * | 2018-08-01 | 2019-01-08 | 清华大学深圳研究生院 | 一种混合合成运动矢量与亮度聚类的去遮挡方法 |
| CN109166079B (zh) * | 2018-08-01 | 2020-10-13 | 清华大学深圳研究生院 | 一种混合合成运动矢量与亮度聚类的去遮挡方法 |
| CN111383262A (zh) * | 2018-12-28 | 2020-07-07 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111383262B (zh) * | 2018-12-28 | 2023-05-12 | 曜科智能科技（上海）有限公司 | 遮挡检测方法、系统、电子终端以及存储介质 |
| CN111696116A (zh) * | 2020-04-30 | 2020-09-22 | 杨墨轩 | 一种应用相机阵列实现图像遮挡物移除方法 |
| CN111970424A (zh) * | 2020-08-25 | 2020-11-20 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
| CN111970424B (zh) * | 2020-08-25 | 2022-07-19 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403423B (zh) | 2019-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403423A (zh) | 一种光场相机的合成孔径去遮挡方法 | |
| CN109559310B (zh) | 基于显著性检测的输变电巡检图像质量评价方法及系统 | |
| Lee et al. | Brightness-based convolutional neural network for thermal image enhancement | |
| CN101500086B (zh) | 图像拾取装置 | |
| US8532427B2 (en) | System and method for image enhancement | |
| CN110570371A (zh) | 一种基于多尺度残差学习的图像去雾方法 | |
| JP7101646B2 (ja) | イメージ復元方法及び装置 | |
| CN101778221B (zh) | 固态成像装置 | |
| CN206348502U (zh) | 光学系统 | |
| CN110717532A (zh) | 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法 | |
| CN107580175A (zh) | 一种单镜头全景拼接的方法 | |
| CN105139332A (zh) | 以硬件方式进行图像处理的图像传感器 | |
| CN103034983B (zh) | 一种基于各向异性滤波的去雾方法 | |
| Du et al. | Multi-focus image fusion using deep support value convolutional neural network | |
| CN106686280A (zh) | 影像修补系统及其方法 | |
| CN108428214A (zh) | 一种图像处理方法及装置 | |
| CN108257094A (zh) | 基于暗通道的遥感影像薄雾快速去除方法 | |
| CN112288043A (zh) | 窑炉表面缺陷检测方法、系统和介质 | |
| CN105991990A (zh) | 3d信息获取设备、3d信息获取方法、成像设备及电子设备 | |
| CN105825470A (zh) | 基于点云影像的鱼眼影像纠正方法 | |
| CN111582074A (zh) | 一种基于场景深度信息感知的监控视频树叶遮挡检测方法 | |
| CN108133470A (zh) | 红外图像与微光彩色图像融合系统及方法 | |
| CN106408009A (zh) | 一种基于深度置信网络的邻域加权平均高光谱图像分类方法 | |
| CN111274988B (zh) | 一种基于多光谱的车辆重识别方法及装置 | |
| CN104469161B (zh) | 图像处理方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |