CN108921781B - 一种基于深度的光场拼接方法 - Google Patents
一种基于深度的光场拼接方法 Download PDFInfo
- Publication number
- CN108921781B CN108921781B CN201810428591.0A CN201810428591A CN108921781B CN 108921781 B CN108921781 B CN 108921781B CN 201810428591 A CN201810428591 A CN 201810428591A CN 108921781 B CN108921781 B CN 108921781B
- Authority
- CN
- China
- Prior art keywords
- light field
- depth
- point pairs
- grid
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003287 optical effect Effects 0.000 title claims description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 79
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000012216 screening Methods 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims 1
- 239000000126 substance Substances 0.000 claims 1
- 230000011218 segmentation Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/162—Segmentation; Edge detection involving graph-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度的光场拼接方法,包括:输入待拼接的光场以及该光场的子孔径图像,对光场的子孔径图像进行光场深度估计得到光场的深度图;提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对,对特征点对进行筛选得到匹配特征点对;将待拼接的光场进行4D网格化,根据匹配特征点对预测全局单应性变换矩阵;并根据特征点与网格中心点的深度和位置关系建立权值矩阵;再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵,并根据光场中每个网格的最优单应性变换矩阵映射光场对光场进行融合,得到光场拼接结果。本发明解决了较大视差变化造成结果错位和重影的问题,实现了精确的视差容忍的光场拼接方法。
Description
技术领域
本发明涉及计算机视觉与数字图像处理领域,尤其涉及一种基于深度的光场拼接方法。
背景技术
光场成像通过在主透镜和传感器中间加入一个微透镜阵列,记录了来自各个方向的光线信息,从而得到完整信息的光辐射场。随着光学传感器的分辨率持续上升和光场相机逐步市场化,光场成像技术的实用价值变得越来越高。相比于传统的数码相机,基于微透镜阵列的光场相机由于可以同时记录三维场景的空间位置信息和方向信息,因此基于该光场相机采集到的光场数据有着广泛的应用,如重聚焦、深度估计、显著性检验等等。然而由于光学结构的限制,手持式全光相机的视场角较小。不依赖于光场结构设置的光场拼接方法可以提高光场相机的视场角。
现有的光场拼接方法主要是通过特征提取和匹配的方法,计算相邻输入光场间的变换矩阵,进行光场配准,通过构造配准后光场重叠区域的能量损失函数来寻找光场的最优缝合线,实现光场融合;这种方法存在一定的局限性,虽然其可以实现视差较小的光场拼接,一旦输入光场数据视差变化较大,将会产生错位,重影等错误,无法得到正确的拼接结果。
另外一种方法是利用结合视差容忍的图像拼接方法来减小视差对拼接结果带来的影响,这种方式在一定程度上提高了拼接的精确度,但是不能完全抵消视差带来的影响,且单独对光场相应子孔径图像进行图像拼接会引入整个光场在空间域和角度域不一致的问题。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案,其并不必然属于本专利申请的现有技术,在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下,上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为了解决上述技术问题,本发明提出一种基于深度的光场拼接方法,解决了较大视差变化造成结果错位和重影的问题,实现了精确的视差容忍的光场拼接方法。
为了达到上述目的,本发明采用以下技术方案:
本发明公开了一种基于深度的光场拼接方法,包括以下步骤:
A1:输入待拼接的光场以及该光场的子孔径图像,对光场的子孔径图像进行光场深度估计得到光场的深度图;
A2:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对,对特征点对进行筛选得到匹配特征点对;
A3:将待拼接的光场进行4D网格化,根据匹配特征点对预测全局单应性变换矩阵;并根据特征点与网格中心点的深度和位置关系建立权值矩阵;再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵,并根据光场中每个网格的最优单应性变换矩阵映射光场;
A4:对光场进行融合,得到光场拼接结果。
进一步地,步骤A2具体包括:
A21:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对;
A22:对所述深度图进行特征聚类得到光场的深度层次图;
A23:根据深度层次图对特征点对进行分组,分别对各组的特征点对进行筛选,合并筛选后的特征点对得到匹配特征点对。
进一步地,步骤A3中具体包括:
A31:将待拼接的光场进行4D网格化;
A32:判断4D网格化后的每一个网格中是否包含不同深度层,如果是,则按深度层再次分割网络;否则直接进入步骤A33;
A33:根据匹配特征点对预测全局单应性变换矩阵;
A34:根据特征点与网格点中心的深度和位置关系建立权值矩阵;
A35:根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵;
A36:根据光场中每个网格的最优单应性变换矩阵映射光场。
与现有技术相比,本发明的有益效果在于:本发明的基于深度的光场拼接方法采用每个网格的最优单应性变换矩阵替代全局单应性变换矩阵来对光场进行映射,显著提升了光场配准过程中的灵活度,实现细节部分更精确的光场拼接;而且其中的每个网格的最优单应性变换矩阵是通过结合全局单应性变换矩阵以及引入了深度图而建立的权值矩阵来进行预测的,解决了较大视差变化造成结果错位和重影的问题,实现了精确的视差容忍的光场拼接方法;从而进一步实现更精准的大视差光场拼接,且保证了拼接光场空间域和角度域一致性,从而扩大光场的视角。
在进一步的方案中,通过对深度图进行特征聚类得到深度层次图,并根据该深度层次图来指导特征点对进行分组,再对各组的特征点对分别进行筛选,避免了由于视差导致的特征点对的误删除,从而保证能够得到足够且有效的匹配特征点对,为后续预测全局单应性变换矩阵以及每个网格的最优单应性变换矩阵打下良好基础,更进一步提高光场配准过程中的准确性。
附图说明
图1是本发明优选实施例的基于深度的光场拼接方法的流程示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示,本发明优选实施例公开了一种基于深度的光场拼接方法,包括以下步骤:
A1:输入待拼接的光场以及光场的子孔径图像,对光场的子孔径图像进行光场深度估计得到光场的深度图;
具体地,输入待拼接的光场,进行解码和预处理得到光场的子孔径图像;并对光场的子孔径图像使用光场深度估计得到光场的深度图。
在本实施例中,以两个光场的拼接为例,Lr(x,y,u,v)为参考光场,Lw(x,y,u,v)为待拼接光场,多个光场的拼接可以使用相同的方法扩展。对输入的光场数据进行解码和预处理,得到光场的子孔径图像方法如下:
Sr(u0,v0)={Lr(x,y,u,v)|u=u0,v=v0}
Sw(u0,v0)={Lw(x,y,u,v)|u=u0,v=v0}
其中Sr(u0,v0)和Sw(u0,v0)是光场在视角(u0,v0)处的子孔径图像。
在本实施例中,使用光场深度估计方法得到光场的深度图像为D(x,y)。
A2:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对,对特征点对进行筛选得到匹配特征点对;
具体地,步骤A2包括以下步骤:
A21:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对;
本实施例中,使用SIFT特征提取方法提取光场的子孔径图像中的特征点,并对特征点进行匹配,得到粗匹配的特征点对,即:
其中,Sr(u0,v0)和Sw(u0,v0)是光场在视角(u0,v0)处的子孔径图像,ΩF为SIFT提取的特征点对组成的集合。
A22:对所述深度图进行特征聚类得到光场的深度层次图;
在本实施例中,通过使用特征聚类的方法对深度图进行分层,保留主要的深度层,舍弃小的深度变化,从而可以避免深度估计算法得到的深度图的细节部分可能存在不准确的区域而对光场拼接造成的影响。
本实施例中,使用k-means特征聚类的方法得到光场的深度层次图Dl的方法如下:
其中Si为像素所在的第i深度层,通过聚类的方法生成:
其中D(x,y)是使用光场深度估计方法得到的深度图,μi是聚类中心,K是聚类个数(对应于深度层次图里面的深度层数),Dl(x,y)是得到的深度层次图。
A23:根据深度层次图对特征点对进行分组,再分别对各组的特征点对进行筛选,合并筛选后的特征点对得到匹配特征点对。
在本实施例中,基于深度层次图的指导下对粗匹配的特征点对进行筛选,主要步骤为:根据深度度层次图Dl(x,y)对特征点对进行分组,然后分别对每一组的特征点对使用连续一致抽样检测(RANSAC)算法进行筛选,剔除离群点,最后合并每一组筛选后的特征点对,得到最终有效的匹配特征点对,即:
其中,P是一对待筛选的特征点,Si为像素所在的第i深度层,K是聚类个数,ΩF为SIFT提取的特征点对组成的集合,Ωr为筛选过后的特征点对组成的集合。
A3:将待拼接的光场进行4D网格化,根据匹配特征点对预测全局单应性变换矩阵;并根据特征点与网格中心点的深度和位置关系建立权值矩阵;再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵,根据光场中每个网格的最优单应性变换矩阵映射光场;
具体地,步骤A3包括以下步骤:
A31:将待拼接的光场进行4D网格化;
在本实施例中,将输入光场分割成规则的四维立体网格,提升光场配准过程中的自由度。
A32:判断4D网格化后的每一个网格中是否包含不同深度层,如果是,则按深度层再次分割网络;否则直接进入步骤A33;
A33:根据匹配特征点对预测全局单应性变换矩阵;
在本实施例中,预测的5维光场全局单应性变换矩阵Η的计算公式为:
P'=HP
其中P(u,v,x,y,1)和P'(u',v',x',y',1)是通过步骤A2所得到的匹配特征点对;
也即Η的计算公式为:
A34:根据特征点与每个网格的网格点中心的深度和位置关系建立权值矩阵;
在本实施例中,权值矩阵wi为:
其中α、β是比例系数,η∈[0,1]是权值矩阵wi的最小阈值,(x*,y*)是网格中心点的位置坐标,(xi,yi)是特征点所在的位置坐标,Dl是步骤A2中的深度层次图。
在其他一些实施例中,上述权值矩阵的wi公式中的Dl也可以采用步骤A1中的深度图D来进行计算,也即权值矩阵wi为:
其中α、β是比例系数,η∈[0,1]是权值矩阵wi的最小阈值,(x*,y*)是网格中心点的位置坐标,(xi,yi)是特征点所在的位置坐标,D是步骤A1中的光场的深度图。
A35:根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵;
在本实施例中,通过基于深度的光场运动模型预测每个网格的最优单应性变换矩阵方法如下:
其中wi是权值矩阵,与特征点和网格所在的深度及位置有关;Η是5维光场全局单应性变换矩阵;矩阵A∈R4N×25可以通过矩阵变换得到;
在本实施例中,矩阵A∈R4N×25由矩阵变换得到:
04×1=A×Η
即:
其中A∈R4N×25有四个线性独立的行向量,因此最少需要六对匹配的特征点,为了增强鲁棒性,可以使用更多对的匹配特征点。
A36:根据光场中每个网格的最优单应性变换矩阵映射光场。
在本实施例中,对每一个网格进行映射:
在本实施例中,根据光场网格最优单应性变换矩阵映射光场,针对视差造成的像素覆盖区域,则根据步骤A1中的光场深度估计得到的深度图或者步骤A2中的进行特征聚类得到的深度层次图挑选深度最小的像素作为像素覆盖位置的最终像素值。
A4:对光场图像融合,得到光场拼接结果。
具体地,采用4D图割方法对光场进行融合,得到光场拼接结果。
其中,4D图割是四维多分辨率图割。四维图割具体为:将整个4D光场映射到一个带权无向图,寻找最优的分割线使其保证整个光场的空间和角度的连续性,因此能量优化函数中p'是像素p空间维度和角度维度均相邻的像素;多分辨率图割具体为:首先对光场数据进行空间分辨率上的降采样,然后进行图割,得到低分辨率下的分割线,根据低分辨率下的分割线限制高分辨率的图割区域,最终在高分辨率下进行图割得到最优缝合线。
在本实施例中4Dgraph-cut具体为:首先将4D光场映射到一个带权无向图中,其次计算能量优化函数:
其中p、p'是光场重叠区域中相邻的像素,R(p)是区域项,B(p,p')是边界项。最后通过最小化能量优化函数找到光场拼接的最优缝合线,实现光场融合。
在本实施例中,为了加快4D图割(4Dgraph-cut)处理4D光场,采用多分辨率的4D图割,具体步骤为:首先对光场进行空间分辨率上的降采样,然后进行图割,得到低分辨率下的分割线,根据低分辨率下的分割线限制高分辨率的图割区域,最终在高分辨率下进行图割得到最优缝合线。
本发明的光场拼接方法结合了使用局部单应性变换矩阵来替代全局单应性变换矩阵的想法,显著提升了光场配准过程中的灵活度,从而实现细节部分更精确的光场拼接;并结合了通过引入深度图配合全局单应性变换矩阵的使用,解决了较大视差变化造成的果错位和重影的问题,实现了精确的视差容忍的光场拼接方法。通过光场相机自身的光场数据估计出的深度图来指导特征点对的筛选,避免了由于视差导致的特征点对的误删除,从而保证得到足够且有效的匹配特征点对。通过图割算法寻找最优缝合线实现光场融合,进一步修正拼接过程中产生的小的错位,实现更精确的光场拼接。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。
Claims (11)
1.一种基于深度的光场拼接方法,其特征在于,包括以下步骤:
A1:输入待拼接的光场以及该光场的子孔径图像,对光场的子孔径图像进行光场深度估计得到光场的深度图;
A2:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对,对特征点对进行筛选得到匹配特征点对;
A3:将待拼接的光场进行4D网格化,根据匹配特征点对预测全局单应性变换矩阵;并根据特征点与网格中心点的深度和位置关系建立权值矩阵;再根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵,并根据光场中每个网格的最优单应性变换矩阵映射光场;
A4:对光场进行融合,得到光场拼接结果。
2.根据权利要求1所述的基于深度的光场拼接方法,其特征在于,步骤A2具体包括:
A21:提取光场的子孔径图像中的特征点,对特征点进行匹配得到特征点对;
A22:对所述深度图进行特征聚类得到光场的深度层次图;
A23:根据深度层次图对特征点对进行分组,分别对各组的特征点对进行筛选,合并筛选后的特征点对得到匹配特征点对。
6.根据权利要求1所述的基于深度的光场拼接方法,其特征在于,步骤A3中根据匹配特征点对预测的全局单应性变换矩阵Η的计算公式为:
P'=HP
其中P(u,v,x,y,1)和P'(u',v',x',y',1)是通过步骤A2所得到的匹配特征点对。
10.根据权利要求2至5任一项所述的基于深度的光场拼接方法,其特征在于,步骤A3中根据光场中每个网格的最优单应性变换矩阵映射光场时,针对视差造成的像素覆盖区域,根据步骤A1中的深度图或者步骤A22中的深度层次图挑选深度最小的像素作为像素覆盖位置的最终像素值。
11.根据权利要求1所述的基于深度的光场拼接方法,其特征在于,步骤A3中具体包括:
A31:将待拼接的光场进行4D网格化;
A32:判断4D网格化后的每一个网格中是否包含不同深度层,如果是,则按深度层再次分割网络;否则直接进入步骤A33;
A33:根据匹配特征点对预测全局单应性变换矩阵;
A34:根据特征点与网格点中心的深度和位置关系建立权值矩阵;
A35:根据全局单应性变换矩阵和权值矩阵来预测每个网格的最优单应性变换矩阵;
A36:根据光场中每个网格的最优单应性变换矩阵映射光场。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810428591.0A CN108921781B (zh) | 2018-05-07 | 2018-05-07 | 一种基于深度的光场拼接方法 |
PCT/CN2019/085643 WO2019214568A1 (zh) | 2018-05-07 | 2019-05-06 | 一种基于深度的光场拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810428591.0A CN108921781B (zh) | 2018-05-07 | 2018-05-07 | 一种基于深度的光场拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108921781A CN108921781A (zh) | 2018-11-30 |
CN108921781B true CN108921781B (zh) | 2020-10-02 |
Family
ID=64402352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810428591.0A Active CN108921781B (zh) | 2018-05-07 | 2018-05-07 | 一种基于深度的光场拼接方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108921781B (zh) |
WO (1) | WO2019214568A1 (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108921781B (zh) * | 2018-05-07 | 2020-10-02 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
CN110084749B (zh) * | 2019-04-17 | 2023-03-31 | 清华大学深圳研究生院 | 一种焦距非一致的光场图像的拼接方法 |
CN110264403A (zh) * | 2019-06-13 | 2019-09-20 | 中国科学技术大学 | 一种基于图像深度分层的去伪影图像拼接方法 |
CN110930310B (zh) * | 2019-12-09 | 2023-04-07 | 中国科学技术大学 | 全景图像拼接方法 |
CN111161143A (zh) * | 2019-12-16 | 2020-05-15 | 首都医科大学 | 一种光学定位技术辅助的手术视野全景拼接方法 |
CN111340701B (zh) * | 2020-02-24 | 2022-06-28 | 南京航空航天大学 | 一种基于聚类法筛选匹配点的电路板图像拼接方法 |
CN111507904B (zh) * | 2020-04-22 | 2023-06-02 | 华中科技大学 | 一种微观打印图案的图像拼接方法及装置 |
CN111882487A (zh) * | 2020-07-17 | 2020-11-03 | 北京信息科技大学 | 一种基于双平面平移变换的大视场光场数据融合方法 |
CN112465704B (zh) * | 2020-12-07 | 2024-02-06 | 清华大学深圳国际研究生院 | 一种全局-局部自适应优化的全景光场拼接方法 |
CN112884877A (zh) * | 2021-02-19 | 2021-06-01 | 中国科学院微电子研究所 | 光场显示方法、装置、电子设备及存储介质 |
CN113191369B (zh) * | 2021-04-09 | 2024-02-09 | 西安理工大学 | 一种基于光场角度域变化矩阵的特征点检测方法 |
CN113506214B (zh) * | 2021-05-24 | 2023-07-21 | 南京莱斯信息技术股份有限公司 | 一种多路视频图像拼接方法 |
CN114373153B (zh) * | 2022-01-12 | 2022-12-27 | 北京拙河科技有限公司 | 一种基于多尺度阵列相机的视频成像优化系统与方法 |
CN116934591A (zh) * | 2023-06-28 | 2023-10-24 | 深圳市碧云祥电子有限公司 | 多尺度特征提取的图像拼接方法、装置、设备及存储介质 |
CN117221466B (zh) * | 2023-11-09 | 2024-01-23 | 北京智汇云舟科技有限公司 | 基于网格变换的视频拼接方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394573A (zh) * | 2008-10-30 | 2009-03-25 | 清华大学 | 一种基于特征匹配的全景图生成方法及系统 |
CN101923709A (zh) * | 2009-06-16 | 2010-12-22 | 日电(中国)有限公司 | 图像拼接方法与设备 |
CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
CN106526867A (zh) * | 2017-01-22 | 2017-03-22 | 网易(杭州)网络有限公司 | 影像画面的显示控制方法、装置及头戴式显示设备 |
CN106791869A (zh) * | 2016-12-21 | 2017-05-31 | 中国科学技术大学 | 基于光场子孔径图像相对位置关系的快速运动搜索方法 |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
CN107295264A (zh) * | 2017-08-01 | 2017-10-24 | 清华大学深圳研究生院 | 一种基于单应性变换光场数据压缩方法 |
CN107578376A (zh) * | 2017-08-29 | 2018-01-12 | 北京邮电大学 | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 |
CN107909578A (zh) * | 2017-10-30 | 2018-04-13 | 上海理工大学 | 基于六边形拼接算法的光场图像重聚焦方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2369710C (en) * | 2002-01-30 | 2006-09-19 | Anup Basu | Method and apparatus for high resolution 3d scanning of objects having voids |
US9332243B2 (en) * | 2012-10-17 | 2016-05-03 | DotProduct LLC | Handheld portable optical scanner and method of using |
US8978984B2 (en) * | 2013-02-28 | 2015-03-17 | Hand Held Products, Inc. | Indicia reading terminals and methods for decoding decodable indicia employing light field imaging |
CN106873301A (zh) * | 2017-04-21 | 2017-06-20 | 北京理工大学 | 基于阵列相机对远距离小孔后方进行成像的系统及方法 |
CN107403423B (zh) * | 2017-08-02 | 2019-12-03 | 清华大学深圳研究生院 | 一种光场相机的合成孔径去遮挡方法 |
CN108921781B (zh) * | 2018-05-07 | 2020-10-02 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
-
2018
- 2018-05-07 CN CN201810428591.0A patent/CN108921781B/zh active Active
-
2019
- 2019-05-06 WO PCT/CN2019/085643 patent/WO2019214568A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101394573A (zh) * | 2008-10-30 | 2009-03-25 | 清华大学 | 一种基于特征匹配的全景图生成方法及系统 |
CN101923709A (zh) * | 2009-06-16 | 2010-12-22 | 日电(中国)有限公司 | 图像拼接方法与设备 |
CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
CN106791869A (zh) * | 2016-12-21 | 2017-05-31 | 中国科学技术大学 | 基于光场子孔径图像相对位置关系的快速运动搜索方法 |
CN106526867A (zh) * | 2017-01-22 | 2017-03-22 | 网易(杭州)网络有限公司 | 影像画面的显示控制方法、装置及头戴式显示设备 |
CN106886979A (zh) * | 2017-03-30 | 2017-06-23 | 深圳市未来媒体技术研究院 | 一种图像拼接装置及图像拼接方法 |
CN107295264A (zh) * | 2017-08-01 | 2017-10-24 | 清华大学深圳研究生院 | 一种基于单应性变换光场数据压缩方法 |
CN107578376A (zh) * | 2017-08-29 | 2018-01-12 | 北京邮电大学 | 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法 |
CN107909578A (zh) * | 2017-10-30 | 2018-04-13 | 上海理工大学 | 基于六边形拼接算法的光场图像重聚焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108921781A (zh) | 2018-11-30 |
WO2019214568A1 (zh) | 2019-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921781B (zh) | 一种基于深度的光场拼接方法 | |
CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
Lee et al. | From big to small: Multi-scale local planar guidance for monocular depth estimation | |
CN109064410B (zh) | 一种基于超像素的光场图像拼接方法 | |
JP6847718B6 (ja) | ライトフィールドデータを処理する方法およびデバイス | |
CA3121440C (en) | Assembly body change detection method, device and medium based on attention mechanism | |
CN107564062B (zh) | 位姿异常检测方法及装置 | |
CN108074218B (zh) | 基于光场采集装置的图像超分辨率方法及装置 | |
Petrovai et al. | Exploiting pseudo labels in a self-supervised learning framework for improved monocular depth estimation | |
Sheng et al. | Unsupervised collaborative learning of keyframe detection and visual odometry towards monocular deep slam | |
Shi et al. | Geometry-guided street-view panorama synthesis from satellite imagery | |
CN112465704B (zh) | 一种全局-局部自适应优化的全景光场拼接方法 | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
CN110378995B (zh) | 一种利用投射特征进行三维空间建模的方法 | |
CN115953535A (zh) | 三维重建方法、装置、计算设备和存储介质 | |
CN115035235A (zh) | 三维重建方法及装置 | |
CN114627491A (zh) | 一种基于极线汇聚的单人三维姿态估计方法 | |
CN117523100A (zh) | 基于神经网络与多视图一致性的三维场景重建方法和装置 | |
Fu et al. | Image stitching techniques applied to plane or 3-D models: a review | |
Karantzalos et al. | Model-based building detection from low-cost optical sensors onboard unmanned aerial vehicles | |
CN107194334B (zh) | 基于光流模型的视频卫星影像密集匹配方法及系统 | |
Knorr et al. | A modular scheme for 2D/3D conversion of TV broadcast | |
Du et al. | Parcs: A deployment-oriented ai system for robust parcel-level cropland segmentation of satellite images | |
CN110084749B (zh) | 一种焦距非一致的光场图像的拼接方法 | |
Nex et al. | Benchmarking the extraction of 3D geometry from UAV images with deep learning methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |