CN109166079B - 一种混合合成运动矢量与亮度聚类的去遮挡方法 - Google Patents

一种混合合成运动矢量与亮度聚类的去遮挡方法 Download PDF

Info

Publication number
CN109166079B
CN109166079B CN201810865331.XA CN201810865331A CN109166079B CN 109166079 B CN109166079 B CN 109166079B CN 201810865331 A CN201810865331 A CN 201810865331A CN 109166079 B CN109166079 B CN 109166079B
Authority
CN
China
Prior art keywords
sub
motion vector
pixel
image
view images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810865331.XA
Other languages
English (en)
Other versions
CN109166079A (zh
Inventor
金欣
张恒
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201810865331.XA priority Critical patent/CN109166079B/zh
Publication of CN109166079A publication Critical patent/CN109166079A/zh
Application granted granted Critical
Publication of CN109166079B publication Critical patent/CN109166079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种混合合成运动矢量与亮度聚类的去遮挡方法，包括：A1：输入被遮挡物对齐的子视角图像；A2：分别提取所有的子视角图像各自的合成运动矢量；A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。本发明可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且大大提高了视觉效果。

Description

一种混合合成运动矢量与亮度聚类的去遮挡方法
技术领域
本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种混合合成运动矢量与亮度聚类的去遮挡方法。
背景技术
1939年，A.Gershun提出光场的概念：光场即光线在空间中的分布。后来，E.H.Adelson和J.R.Bergen提出更加完善的光场理论，并用7维全光函数来描述光场。通常情况下，我们忽略光线的波长和发射时间，而通过记录空间中光线的位置和方向信息来记录光场。常用于记录光场的设备有：相机阵列、相机三维平移台和光场相机。光场技术不仅在深度估计、立体匹配等传统研究领域中作用突出，更在AR/VR等方面炙手可热。而基于光场的去遮挡技术更是在三维建模，点云合成等方面非常重要，具有非常大的现实意义，并且是很多研究方向的一个基础问题。
现有的基于光场的去遮挡方法主要可以分为：基于像素平均的视角合成方法和基于像素挑选的视角合成方法。基于像素平均的视角合成方法也分为两种：直接平均和基于深度挑选的平均方法。其中直接平均法由于保留了来自遮挡物的像素，因而视觉效果不好；由于遮挡情况给深度估计带来了很大的困难，基于深度挑选的平均方法鲁棒性较差，容易被深度估计的误差影响。基于像素挑选的视角合成方法主要基于像素单元中像素的置信度或者能量函数来挑选像素，但是这些方法的视觉效果较差。综上所述，现有的子视角图像合成去遮挡方法总存在着视觉效果差的问题。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了解决上述技术问题，本发明提出一种混合合成运动矢量与亮度聚类的去遮挡方法，可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且大大提高了视觉效果。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种混合合成运动矢量与亮度聚类的去遮挡方法，包括以下步骤：
A1：输入被遮挡物对齐的子视角图像；
A2：分别提取所有的子视角图像各自的合成运动矢量；
A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；
A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；
A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；
A6：对步骤A5中的每一类图像进行合成，得到合成视角图像。
优选地，步骤A2具体包括：
A21：判断步骤A1中输入的子视角图像的来源：如果步骤A1中输入的子视角图像是由光场相机拍摄得到，则执行步骤A22；如果步骤A1中输入的子视角图像是由相机阵列或者相机三维平移台得到，则执行步骤A23；
A22：计算相邻子视角图像之间的运动矢量，并利用得到的运动矢量计算合成运动矢量；
A23：计算相邻子视角图像之间的运动矢量并将该运动矢量按照空间位置进行等间距处理，再利用等间距处理后的运动矢量计算合成运动矢量。
优选地，其中步骤A22具体包括：
A221：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A222：利用得到的运动矢量计算合成运动矢量：
Figure BDA0001750780640000021
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量，MVu-1,v(x)和MVu+1,v(x)分别为MVu-1,v和MVu+1,v在行方向上的分量，MVu,v+1(y)和MVu,v-1(y)分别为MVu,v+1和MVu,v-1在列方向上的分量。
优选地，其中步骤A23具体包括：
A231：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A232：利用相机中心的坐标对相邻子视角图像之间的运动矢量进行等间距处理：
Figure BDA0001750780640000031
其中，(p,q)∈{(u-1,v),(u+1,v),(u,v-1),(u,v+1)}；MV′p,q(x)和MV′p,q(y)分别表示子视角图像Iu,v与某一相邻子视角图像Ip,q之间在行和列方向上的进行等间距处理后的运动矢量；Cu,v为子视角图像Iu,v的相机中心的坐标，Cu,v(x)和Cu,v(y)为Cu,v在行和列方向上的分量；Cp,q为子视角图像Ip,q的相机中心的坐标，Cp,q(x)和Cp,q(y)为Cp,q在行和列方向上的分量；
A233：利用等间距处理后的运动矢量计算合成运动矢量：
Figure BDA0001750780640000032
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量。
优选地，步骤A3具体包括：
A31：计算步骤A2中得到的合成运动矢量的模：
Figure BDA0001750780640000033
其中，mvu,v表示子视角图像Iu,v的合成运动矢量的模，Mvu,v(x)和Mvu,v(y)分别为子视角图像Iu,v的合成运动矢量Mvu,v在行和列方向上的分量；
A32：根据所有的子视角图像的合成运动矢量的模来判断空间中存在物体的平面的层数；
A33：采用下式对合成运动矢量图中的像素进行筛选；
Figure BDA0001750780640000041
其中，pixel(i,j)表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的像素，
Figure BDA0001750780640000042
表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的合成运动矢量的模，threshold(mv)为筛选目标像素的阈值；
A34：根据步骤A33筛选出来的像素，对相应的子视角图像Iu,v进行像素筛选，得到被遮挡物所在的平面上的像素：
Figure BDA0001750780640000043
其中，pixel'(i,j)表示子视角图像Iu,v中坐标(i,j)处的像素。
优选地，步骤A32具体为：统计所有的子视角图像的合成运动矢量图中所有的像素的模的大小的分布，然后根据合成运动矢量的模的直方图中包络线的波峰个数判断空间中有物体存在的平面的层数；步骤A33中threshold(mv)是根据合成运动矢量的模的直方图中除了0以外的第一个波峰的位置上选取的合成运动矢量的模的值；优选地，threshold(mv)是选取合成运动矢量的模的直方图中除了0以外的第一个波峰的开始增长的位置处对应的合成运动矢量的模的值。
优选地，步骤A4具体包括：对于步骤A3得到的在所有子视角图像中筛选出的被遮挡物所在的平面上的像素，按照子视角图像拍摄时的空间位置，将所有子视角图像中有相同图像坐标的像素排列在一起，组成像素单元；所有的像素单元共同构成一张新的重排列图像。
优选地，步骤A5具体包括：对步骤A4中的重排列图像中的所有像素单元按照亮度聚类成N类，其中，N表示步骤A3中判断得到的空间中存在物体的平面层数；优选地，采用模糊C均值算法来对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类。
优选地，步骤A6具体包括：
A61：像素亮度的融合：
经过步骤A5之后，像素单元中的像素被聚为N类，满足下式的两类像素将被合并为同一类：
|avgbri(k)-avgbri(g)|＜threshold(bri) (7)
其中，threshold(bri)表示亮度差的阈值；avgbri(k)表示第k类像素的亮度的平均值；
A62：像素类别的统一：
在步骤A4得到的重排列图像中找出经过步骤A61处理后类别最多的像素单元，并记类别最多的像素单元的类别数为M，然后进行编号；
对于除了类别最多的像素单元以外的其余像素单元，按照亮度的相似性排列统一像素的编号：
|avgbri(a)-avgbri(b)|≤|avgbri(a)-avgbri(h)| (9)
其中，a表示其余像素单元中第a类像素，b表示类别最多的像素单元中的第b类的像素，h∈(1,2,…,M)表示类别最多的像素单元中的任意一类像素；
A63：将步骤A62中不同编号的像素分别平均，得到合成视角图像。
优选地，其中avgbri(k)的表达式为：
Figure BDA0001750780640000051
其中，Nk表示第k类像素的个数，pixel'(s)表示第k类像素中的某个像素s；bri(pixel'(s))表示pixel'(s)的亮度值。
与现有技术相比，本发明的有益效果在于：本发明中首先获取被遮挡物体对齐的子视角图像，并提取所有子视角图像的合成运动矢量，从而依据合成矢量的模的大小筛选像素，然后把所有筛选出的像素重新排列为重排列图像，并对重排列图像中每个像素单元按照亮度进行聚类和编号，最终通过分别平均相同编号的像素即可得到合成视角图像，即实现了去除遮挡物的功能；本发明能够在获取被遮挡物体对齐的子视角图像的基础上，可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且视觉效果很好。
附图说明
图1是本发明优选实施例的混合合成运动矢量与亮度聚类的去遮挡方法的流程图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示，本发明优选实施例公开了一种混合合成运动矢量与亮度聚类的去遮挡方法，能够在获取被遮挡物体对齐的子视角图像的基础上，可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且视觉效果很好；具体包括以下步骤：
A1：输入子视角图像：输入被遮挡物对齐的子视角图像，即在这些子视角图像中，被遮挡物体没有视差。
在本实例中，应用单映型变换的方法，分别在由光场相机(Illum相机)拍摄得到子视角图像、由相机阵列拍摄得到的子视角图像以及由相机三维平移台拍摄得到的子视角图像中对齐被遮挡物体；其中光场相机拍摄得到的子视角图像的分辨率为434×625，共有225幅子视角图像；相机阵列拍摄得到的子视角图像的分辨率为640×480，共有45幅子视角图像；相机三维平移台拍摄得到的子视角图像的分辨率为650×515，共有256幅子视角图像。
A2：提取合成运动矢量：对不同的子视角图像分类处理，并提取每一幅子视角图像各自的合成运动矢量；
在本实施例，步骤A2具体包括以下步骤：
A21：判断步骤A1中得到的子视角图像的来源：
若步骤A1中已经对齐的子视角图像是由光场相机拍摄得到的，则执行步骤A22；若其由相机阵列或者相机三维平移台得到，则执行步骤A23；
A22：计算相邻子视角图像之间的运动矢量，并利用得到的运动矢量计算合成运动矢量：
A221：对于子视角图像Iu,v，可以计算它与其相邻子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A222：利用得到的运动矢量计算合成运动矢量：
Figure BDA0001750780640000071
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量，MVu-1,v(x)和MVu+1,v(x)分别为MVu-1,v和MVu+1,v在行方向上的分量，MVu,v+1(y)和MVu,v-1(y)分别为MVu,v+1和MVu,v-1在列方向上的分量。
A23：计算相邻子视角图像之间的运动矢量并按照空间位置等间距处理，再利用得到的运动矢量计算合成运动矢量：
A231：对于子视角图像Iu,v，可以计算它与其相邻子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A232：按照下式，利用相机中心的坐标对相邻子视角图像之间的运动矢量进行等间距处理：
Figure BDA0001750780640000072
其中，(p,q)∈{(u-1,v),(u+1,v),(u,v-1),(u,v+1)}；MV′p,q(x)和MV′p,q(y)分别表示子视角图像Iu,v与某一相邻子视角图像Ip,q之间在行和列方向上的进行等间距处理后的运动矢量；Cu,v为子视角图像Iu,v的相机中心的坐标，Cu,v(x)和Cu,v(y)为Cu,v在行和列方向上的分量；Cp,q为子视角图像Ip,q的相机中心的坐标，Cp,q(x)和Cp,q(y)为Cp,q在行和列方向上的分量；
A233：利用公式(2)处理后的运动矢量计算合成运动矢量：
Figure BDA0001750780640000081
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量。
在本实例中，步骤A22和步骤A23中均可以利用由Bouguet JY.等人提出的光流法计算运动矢量。
A3：根据合成运动矢量筛选像素：通过所有的子视角图像的合成运动矢量的模，判断空间中存在物体的平面的层数，进而根据阈值，筛选所有子视角图像中的像素；
在本实施例，步骤A3具体包括以下步骤：
A31：计算步骤A2得到的合成运动矢量的模：
Figure BDA0001750780640000082
其中，mvu,v表示子视角图像Iu,v的合成运动矢量的模；
A32：判断空间中存在物体的平面的层数：
统计所有的子视角图像的合成运动矢量图中所有的像素的模的大小的分布，然后根据合成运动矢量的模的直方图中包络线的波峰个数判断空间中有物体存在的平面的层数，并记为N；
A33：根据步骤A32得到的合成运动矢量的模的直方图中除了0以外的第一个波峰的位置选取合适的合成运动矢量的模的值，作为筛选目标像素的依据(记为threshold(mv))，并对合成运动矢量图中的像素进行筛选，得到如下像素：
Figure BDA0001750780640000083
其中，pixel(i,j)表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的像素，
Figure BDA0001750780640000084
表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的合成运动矢量的模；
关于合成运动矢量的模的直方图，其横轴是合成运动矢量的模的大小，纵轴是像素数目的多少，其中“除了0以外的第一个波峰的位置”中所说的“0”是指合成运动矢量的模为0。
A34：根据步骤A33筛选出来的像素，对相应的子视角图像Iu,v进行像素筛选，得到如下被遮挡物所在的平面上的像素：
Figure BDA0001750780640000091
其中，pixel'(i,j)表示子视角图像Iu,v中坐标(i,j)处的像素。
在本实例中，合成运动矢量的模的阈值，都是选取在除0以外的第一个波峰的开始增长的位置处对应的值。
A4：排列步骤A3筛选出的像素：对于步骤A3得到的像素，按照子视角图像拍摄时的空间位置，将所有子视角中有相同图像坐标的像素排列在一起，组成像素单元；所有的像素单元共同构成一张新的重排列图像。
A5：按照亮度对像素聚类：对步骤A4得到的重排列图像中的每一个像素单元中的非空像素按照亮度聚成N类；其中，N表示在步骤A32中得到的空间中存在物体的平面的层数。
在本实施例，采用模糊C均值算法(FCM)来按照亮度对像素聚类，并聚为N类。
A6：获取合成视角图像：对步骤A4筛选出的像素进行分类和编号，并把相同编号的像素分别平均，得到合成视角图像。
在本实施例，步骤A6具体包括以下步骤：
A61：像素亮度的融合：
经过步骤A5之后，像素单元中的像素被聚为N类，满足下式的两类像素将被合并为同一类：
|avgbri(k)-avgbri(g)|＜threshold(bri) (7)
其中，threshold(bri)表示亮度差的阈值；avgbri(k)表示第k类像素的亮度的平均值，其表达式如下：
Figure BDA0001750780640000101
其中，Nk表示第k类像素的个数；pixel'(s)表示第k类像素中的某个像素s；bri(pixel'(s))表示pixel'(s)的亮度值；
A62：像素类别的统一：
对于步骤A4得到的重排列图像中找出经过步骤A61后类别最多的像素单元，并记这个像素单元的类别数为M，然后进行编号。对于其余像素单元(是指除了经过步骤A61后类别最多的像素单元以外的所有像素单元)，按照亮度的相似性排列统一像素的编号：
|avgbri(a)-avgbri(b)|≤|avgbri(a)-avgbri(h)| (9)
其中，a表示其余像素单元中第a类像素；b表示这个类别最多的像素单元中的第b类的像素；h∈(1,2,…,M)表示这个类别最多的像素单元中的任意一类像素；上式中的avgbri(a)、avgbri(b)、avgbri(h)的计算公式同公式(8)；公式(9)表示其余子视角图像中的像素将被标记为亮度最接近的一类并标出相应的编号；
A63：将步骤A62中不同编号的像素分别平均，得到合成视角图像。
本发明优选实施例中为了能够得到被遮挡的物体的表面信息，利用混合合成运动矢量和亮度聚类的方法对输入的子视角图像中来自被遮挡物体的像素进行筛选，进而可以得到视角合成图像；在视角合成图像中，来自遮挡物的信息被删除，来自被遮挡物体的像素被保留并被平均，因此被遮挡物体的信息就显现出来，即实现了去遮挡的功能。本发明的去遮挡方法的思路是：在获取被遮挡物体对齐的子视角图像之后，提取所有子视角图像的合成运动矢量，并根据合成运动矢量的模对子视角图像中的像素进行筛选，然后将这些筛选出来的像素合成像素单元并利用亮度对这些像素进行聚类和编号，分别平均编号相同的像素即可获取孔径合成图像。其中的核心是利用合成运动矢量筛选像素的过程，这个过程分为四步：提取运动矢量、获取合成运动矢量、根据合成运动矢量的模值的分布直方图挑选合适的模的阈值、在子视角图像中筛选像素；并且本发明通过亮度来对筛选出来的像素进行二次筛选，能有效减少合成运动矢量带来的误差对结果的影响，使得结果中更少地出现遮挡物的像素。本发明能够在获取被遮挡物体对齐的子视角图像的基础上，可以在得到合成视角图像实现去遮挡的功能，达到去除镜头前的遮挡物，获得被遮挡物体信息的效果，且视觉效果很好。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (7)

1.一种混合合成运动矢量与亮度聚类的去遮挡方法，其特征在于，包括以下步骤：
A1：输入被遮挡物对齐的子视角图像；
A2：分别提取所有的子视角图像各自的合成运动矢量；
A3：根据每一幅子视角图像的合成运动矢量判断空间中存在物体的平面层数，并在相应的每一幅子视角图像中筛选出被遮挡物所在的平面上的像素；
A4：将步骤A3中在所有子视角图像中筛选出的被遮挡物所在的平面上的像素排列在重排列图像中；
A5：对步骤A4中的重排列图像中的所有像素单元按照亮度进行聚类；
A6：对步骤A5中的每一类图像进行合成，得到合成视角图像；
其中，步骤A2具体包括：
A21：判断步骤A1中输入的子视角图像的来源：如果步骤A1中输入的子视角图像是由光场相机拍摄得到，则执行步骤A22；如果步骤A1中输入的子视角图像是由相机阵列或者相机三维平移台得到，则执行步骤A23；
A22：计算相邻子视角图像之间的运动矢量，并利用得到的运动矢量计算合成运动矢量；
A23：计算相邻子视角图像之间的运动矢量并将该运动矢量按照空间位置进行等间距处理，再利用等间距处理后的运动矢量计算合成运动矢量；
其中步骤A22具体包括：
A221：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A222：利用得到的运动矢量计算合成运动矢量：
Figure FDA0002558700100000011
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量，MVu-1,v(x)和MVu+1,v(x)分别为MVu-1,v和MVu+1,v在行方向上的分量，MVu,v+1(y)和MVu,v-1(y)分别为MVu,v+1和MVu,v-1在列方向上的分量；
其中步骤A23具体包括：
A231：分别计算子视角图像Iu,v及其相邻的子视角图像Iu-1,v,Iu+1,v,Iu,v+1,Iu,v-1之间的运动矢量，分别为MVu-1,v,MVu+1,v,MVu,v+1,MVu,v-1；
A232：利用相机中心的坐标对相邻子视角图像之间的运动矢量进行等间距处理：
Figure FDA0002558700100000021
其中，(p,q)∈{(u-1,v),(u+1,v),(u,v-1),(u,v+1)}；MV′p,q(x)和MV′p,q(y)分别表示子视角图像Iu,v与某一相邻子视角图像Ip,q之间在行和列方向上的进行等间距处理后的运动矢量；Cu,v为子视角图像Iu,v的相机中心的坐标，Cu,v(x)和Cu,v(y)为Cu,v在行和列方向上的分量；Cp,q为子视角图像Ip,q的相机中心的坐标，Cp,q(x)和Cp,q(y)为Cp,q在行和列方向上的分量；
A233：利用等间距处理后的运动矢量计算合成运动矢量：
Figure FDA0002558700100000022
其中，Mvu,v表示子视角图像Iu,v的合成运动矢量，Mvu,v(x)和Mvu,v(y)分别为Mvu,v在行和列方向上的分量；
步骤A3具体包括：
A31：计算步骤A2中得到的合成运动矢量的模：
Figure FDA0002558700100000023
其中，mvu,v表示子视角图像Iu,v的合成运动矢量的模，Mvu,v(x)和Mvu,v(y)分别为子视角图像Iu,v的合成运动矢量Mvu,v在行和列方向上的分量；
A32：根据所有的子视角图像的合成运动矢量的模来判断空间中存在物体的平面的层数；
A33：采用下式对合成运动矢量图中的像素进行筛选；
Figure FDA0002558700100000031
其中，pixel(i,j)表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的像素，
Figure FDA0002558700100000032
表示子视角图像Iu,v相对应的合成运动矢量图中坐标(i,j)处的合成运动矢量的模，threshold(mv)为筛选目标像素的阈值；
A34：根据步骤A33筛选出来的像素，对相应的子视角图像Iu,v进行像素筛选，得到被遮挡物所在的平面上的像素：
Figure FDA0002558700100000033
其中，pixel'(i,j)表示子视角图像Iu,v中坐标(i,j)处的像素。
2.根据权利要求1所述的去遮挡方法，其特征在于，步骤A32具体为：统计所有的子视角图像的合成运动矢量图中所有的像素的模的大小的分布，然后根据合成运动矢量的模的直方图中包络线的波峰个数判断空间中有物体存在的平面的层数；步骤A33中threshold(mv)是根据合成运动矢量的模的直方图中除了0以外的第一个波峰的位置上选取的合成运动矢量的模的值。
3.根据权利要求1所述的去遮挡方法，其特征在于，threshold(mv)是选取合成运动矢量的模的直方图中除了0以外的第一个波峰的开始增长的位置处对应的合成运动矢量的模的值。
4.根据权利要求1所述的去遮挡方法，其特征在于，步骤A4具体包括：对于步骤A3得到的在所有子视角图像中筛选出的被遮挡物所在的平面上的像素，按照子视角图像拍摄时的空间位置，将所有子视角图像中有相同图像坐标的像素排列在一起，组成像素单元；所有的像素单元共同构成一张新的重排列图像。
5.根据权利要求1所述的去遮挡方法，其特征在于，步骤A5具体包括：对步骤A4中的重排列图像中的所有像素单元按照亮度聚类成N类，其中，N表示步骤A3中判断得到的空间中存在物体的平面层数。
6.根据权利要求5所述的去遮挡方法，其特征在于，步骤A6具体包括：
A61：像素亮度的融合：
经过步骤A5之后，像素单元中的像素被聚为N类，满足下式的两类像素将被合并为同一类：
|avgbri(k)-avgbri(g)|＜threshold(bri) (7)
其中，threshold(bri)表示亮度差的阈值；avgbri(k)表示第k类像素的亮度的平均值；
A62：像素类别的统一：
在步骤A4得到的重排列图像中找出经过步骤A61处理后类别最多的像素单元，并记类别最多的像素单元的类别数为M，然后进行编号；
对于除了类别最多的像素单元以外的其余像素单元，按照亮度的相似性排列统一像素的编号：
|avgbri(a)-avgbri(b)|≤|avgbri(a)-avgbri(h)| (9)
其中，a表示其余像素单元中第a类像素，b表示类别最多的像素单元中的第b类的像素，h∈(1,2,…,M)表示类别最多的像素单元中的任意一类像素；
A63：将步骤A62中不同编号的像素分别平均，得到合成视角图像。
7.根据权利要求6所述的去遮挡方法，其特征在于，其中avgbri(k)的表达式为：
Figure FDA0002558700100000041
其中，Nk表示第k类像素的个数，pixel'(s)表示第k类像素中的某个像素s；bri(pixel'(s))表示pixel'(s)的亮度值。
CN201810865331.XA 2018-08-01 2018-08-01 一种混合合成运动矢量与亮度聚类的去遮挡方法 Active CN109166079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810865331.XA CN109166079B (zh) 2018-08-01 2018-08-01 一种混合合成运动矢量与亮度聚类的去遮挡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810865331.XA CN109166079B (zh) 2018-08-01 2018-08-01 一种混合合成运动矢量与亮度聚类的去遮挡方法

Publications (2)

Publication Number Publication Date
CN109166079A CN109166079A (zh) 2019-01-08
CN109166079B true CN109166079B (zh) 2020-10-13

Family

ID=64898587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810865331.XA Active CN109166079B (zh) 2018-08-01 2018-08-01 一种混合合成运动矢量与亮度聚类的去遮挡方法

Country Status (1)

Country Link
CN (1) CN109166079B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826423B (zh) * 2019-10-18 2022-10-04 中北大学 一种群目标中感兴趣目标探测方法、装置及系统
CN111970424B (zh) * 2020-08-25 2022-07-19 武汉工程大学 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303275A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法
CN106780565A (zh) * 2016-11-15 2017-05-31 天津大学 一种基于光流与k‑means聚类的多学生起坐检测方法
US9672657B2 (en) * 2014-01-17 2017-06-06 Intel Corporation Layered reconstruction for defocus and motion blur
CN107403423A (zh) * 2017-08-02 2017-11-28 清华大学深圳研究生院 一种光场相机的合成孔径去遮挡方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9672657B2 (en) * 2014-01-17 2017-06-06 Intel Corporation Layered reconstruction for defocus and motion blur
CN106303275A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机多重聚焦的虚拟现实三维数据采集方法
CN106780565A (zh) * 2016-11-15 2017-05-31 天津大学 一种基于光流与k‑means聚类的多学生起坐检测方法
CN107403423A (zh) * 2017-08-02 2017-11-28 清华大学深圳研究生院 一种光场相机的合成孔径去遮挡方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Synthetic aperture based on plenoptic cameras for seeing behind occlusion;Heng Zhang等;《2017 International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS)》;20180123;全文 *

Also Published As

Publication number Publication date
CN109166079A (zh) 2019-01-08

Similar Documents

Publication Publication Date Title
CN1241419C (zh) 用于多视图合成的方法
US9811946B1 (en) High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
CN103299610B (zh) 用于视频插入的方法和设备
CN105809640B (zh) 基于多传感器融合的低照度视频图像增强方法
WO2017176483A1 (en) Efficient canvas view generation from intermediate views
CN107341815B (zh) 基于多目立体视觉场景流的剧烈运动检测方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
KR20070026403A (ko) 깊이 맵 생성
CN1914643A (zh) 创建一种深度图
JP2012194751A (ja) 画像処理方法、画像処理装置及びコンピュータプログラム
CN112330795A (zh) 基于单张rgbd图像的人体三维重建方法及系统
CN110189294A (zh) 基于深度可信度分析的rgb-d图像显著性检测方法
CN109166079B (zh) 一种混合合成运动矢量与亮度聚类的去遮挡方法
Li et al. RGBD relocalisation using pairwise geometry and concise key point sets
CN113160048A (zh) 一种缝合线引导的图像拼接方法
CN112465021A (zh) 基于图像插帧法的位姿轨迹估计方法
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Mirante et al. A fast image segmentation algorithm using color and depth map
WO2023280082A1 (zh) 一种手柄inside-out视觉6自由度定位方法及系统
Li et al. Global color consistency correction for large-scale images in 3-D reconstruction
CN110211090B (zh) 一种用于评价视角合成图像质量的方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN106952301A (zh) 一种rgb‑d图像显著性计算方法
EP3229106A1 (en) Efficient determination of optical flow between images
CN114022562A (zh) 一种保持行人完整性的全景视频拼接方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant