CN108376409A - 一种光场图像配准方法及系统 - Google Patents

一种光场图像配准方法及系统 Download PDF

Info

Publication number
CN108376409A
CN108376409A CN201810156779.4A CN201810156779A CN108376409A CN 108376409 A CN108376409 A CN 108376409A CN 201810156779 A CN201810156779 A CN 201810156779A CN 108376409 A CN108376409 A CN 108376409A
Authority
CN
China
Prior art keywords
light field
image
field image
lenticule
target light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810156779.4A
Other languages
English (en)
Other versions
CN108376409B (zh
Inventor
段福洲
苏文博
关鸿亮
徐翎丰
郭甜
孟祥慈
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN201810156779.4A priority Critical patent/CN108376409B/zh
Publication of CN108376409A publication Critical patent/CN108376409A/zh
Application granted granted Critical
Publication of CN108376409B publication Critical patent/CN108376409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种光场图像配准方法及系统。该方法包括：获取左目标光场图像和右目标光场图像；分别确定左目标光场图像的多个矩形检测区域和右目标光场图像的多个检测区域；从左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集；从右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集；利用暴力算法对第一特征点集中的特征点与第二特征点集中的特征点进行匹配，得到多个匹配点对；确定各个匹配点对中特征点的坐标；依据坐标，计算单应矩阵；依据单应矩阵，得到左目标光场图像和右目标光场图像配准后的图像。本发明能够提高重叠区域较小的两幅光场图像进行配准的配准精度，还可以降低时间消耗。

Description

一种光场图像配准方法及系统
技术领域
本发明涉及光场数据处理技术领域，特别是涉及一种光场图像配准方法及系统。
背景技术
光场图像通常采用光场相机获得，光场相机区别于传统相机，它是在主透镜和图像传感器之间放置一个微透镜阵列，使得传感器可以同时记录光线的强度信息和方向信息，实现对四维光场数据的采集，四维光场数据也就是一根光线的四维坐标，四维坐标是由微透镜上的坐标和传感器上的坐标构成的。光场相机具有一个很突出的特点是可以实现先拍照后对焦，可以有效记录大景深的场景，不用选择对焦，因此拍摄速度很快。现在，光场相机已经应用于安防监控，合成孔径成像，合成光场描绘以及多视点立体显示等领域。为了进行光场拼接，因此必须要对两幅光场图像进行配准，确定两个光场坐标系之间的转换关系。
目前，通常采用如下方法对光场图像进行配准：利用光场相机拍摄光场图像；从拍摄的图像中解码出原始光场图像；从原始光场图像中提取光场子孔径图像；对光场子孔径图像进行检测，得到多个特征点；将特征点映射到光场的四维空间，也就是得出特征点在微透镜和传感器上的四个坐标；将其转换到普吕克坐标系下，求出一个5*5的转换矩阵，完成图像配准。由于现有的方法需要从原始光场图像中提取光场子孔径图像，特征点是通过对光场子孔径图像进行检测得到，而光场子孔径图像的分辨率低，两幅图像的重叠区域必须足够大，才能检测到充足的特征点，因此，对于重叠区域较小的图像，其配准精确低。
发明内容
基于此，有必要提供一种光场图像配准方法及系统，以提高光场图像的配准精度。
为实现上述目的，本发明提供了如下方案：
一种光场图像配准方法，包括：
获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域；
以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域；
以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域；
利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集，所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点；
利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集，所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点；
利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对；
确定各个所述匹配点对中特征点的坐标；
依据所述坐标，计算单应矩阵；
依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
可选的，在所述获取左目标光场图像和右目标光场图像之前，还包括确定光场相机中微透镜阵列中各个微透镜的中心；
所述确定光场相机中微透镜阵列中各个微透镜的中心，具体包括：
利用光场相机拍摄匀光板，获取光场白图像；
确定所述光场白图像的全局阈值；
依据所述全局阈值对所述光场白图像进行二值化；
寻找二值化后的所述光场白图像中各个微透镜图像的轮廓；
依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心；
将每个微透镜图像的中心确定为对应的微透镜的中心。
可选的，所述依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心，具体包括：
利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心；
将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心。
可选的，在所述利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对之后，还包括对多个所述匹配点对进行初次筛选；
所述对多个所述匹配点对进行初次筛选，具体包括：
计算各个所述匹配点对的余弦值；
依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断每个所述匹配点对的余弦值是否小于所述余弦平均值；
若是，则保留所述匹配点对；
否则，删除所述匹配点对。
可选的，所述对多个所述匹配点对进行初次筛选之后，还包括利用随机抽样一致性算法对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
本发明还提供了一种光场图像配准系统，包括：
图像获取模块，用于获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域；
第一检测区域确定模块，用于以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域；
第二检测区域确定模块，用于以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域；
第一点集构建模块，用于利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集，所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点；
第二点集构建模块，用于利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集，所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点；
匹配模块，用于利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对；
坐标确定模块，用于确定各个所述匹配点对中特征点的坐标；
计算模块，用于依据所述坐标，计算单应矩阵；
配准模块，用于依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
可选的，所述光场图像配准系统还包括微透镜中心确定模块，用于确定光场相机中微透镜阵列中各个微透镜的中心；
所述微透镜中心确定模块，具体包括：
白图像获取单元，用于利用光场相机拍摄匀光板，获取光场白图像；
全局阈值确定单元，用于确定所述光场白图像的全局阈值；
二值化单元，用于依据所述全局阈值对所述光场白图像进行二值化；
寻找单元，用于寻找二值化后的所述光场白图像中各个微透镜图像的轮廓；
微透镜图像中心确定单元，用于依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心；
微透镜中心确定单元，用于将每个微透镜图像的中心确定为对应的微透镜的中心。
可选的，所述微透镜图像中心确定单元，具体包括：
计算子单元，用于利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心；
图像中心确定子单元，用于将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心。
可选的，所述光场图像配准系统还包括初次筛选模块，用于对多个所述匹配点对进行初次筛选；
所述初次筛选模块，具体包括：
余弦值计算单元，用于计算各个所述匹配点对的余弦值；
平均值计算单元，用于依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断单元，用于判断每个所述匹配点对的余弦值是否小于所述余弦平均值；若是，则保留所述匹配点对；否则，删除所述匹配点对。
可选的，所述光场图像配准系统还包括二次筛选模块，用于利用随机抽样一致性算法对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
与现有技术相比，本发明的有益效果是：
本发明提出了一种光场图像配准方法及系统，所述方法包括：获取左目标光场图像和右目标光场图像；分别确定左目标光场图像的多个矩形检测区域和右目标光场图像的多个检测区域；利用尺度不变特征变换算法从左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集；利用尺度不变特征变换算法从右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集；利用暴力算法对第一特征点集中的特征点与第二特征点集中的特征点进行匹配，得到多个匹配点对；确定各个匹配点对中特征点的坐标；依据坐标，计算单应矩阵；依据单应矩阵，得到左目标光场图像和右目标光场图像配准后的图像。本发明避免了提取光场子孔径图像，而是直接在原始图像上检测特征点，使得两幅光场图像即使在较小重叠的情况下也可以得到充足的特征点，提高了重叠区域较小的两幅光场图像进行配准的配准精度，且拼接完成之后的两副光场视角更大；从时间复杂度的角度来说，节省了提取光场子孔径图像的时间，进而降低了总时间的消耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一种光场图像配准方法的流程图；
图2为本发明实施例的光场相机的结构图；
图3为本发明实施例利用光场相机拍摄的光场白图像；
图4为本发明实施例对光场白图像进行处理后的图像；
图5为本发明实施例一种光场图像配准系统的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明实施例一种光场图像配准方法的流程图。
参见图1，实施例的光场图像配准方法，包括：
步骤S1：确定光场相机中微透镜阵列中各个微透镜的中心。
具体包括：
1)利用光场相机拍摄匀光板或白色墙壁，获取光场白图像。图2为本发明实施例的光场相机的结构图，参见图2，光场相机包括主镜1和微透镜阵列5，m表示物面，n表示探测面；图3为本发明实施例利用光场相机拍摄的光场白图像，参见图3，光场白图像中的黑色区域为微透镜结构所形成的表象。
2)确定所述光场白图像的全局阈值。
3)利用最大类间方差法，依据所述全局阈值对所述光场白图像进行二值化，图4为本发明实施例对光场白图像进行处理后的图像，其中，图4(a)为二值化后的光场白图像。
最大类间方差法的原理如下：
最大类间方差法是1979年由日本学者大津(Nobuyuki Otsu)提出的，是一种自适应阈值确定的方法，又叫大津法，简称OTSU，是一种基于全局的二值化算法，它是根据图像的灰度特性，将图像分为前景和背景两个部分。当取最佳阈值时，两部分之间的差别应该是最大的，在OTSU算法中所采用的衡量差别的标准就是较为常见的最大类间方差。前景和背景之间的类间方差如果越大，就说明构成图像的两个部分之间的差别越大，当部分目标被错分为背景或部分背景被错分为目标，都会导致两部分差别变小，当所取阈值的分割使类间方差最大时就意味着错分概率最小。设T为前景与背景的分割阈值，前景点数占图像比例为w0，平均灰度为u0；背景点数占图像比例为w1，平均灰度为u1，图像的总平均灰度为u，g为前景和背景图象的方差，则有：
u＝w0×u0+w1×u1
g＝w0×(u0-u)2+w1×(u1-u)2
联立上面两式可得：
g＝w0×w1×(u0-u1)2
或
当方差g最大时，可以认为此时前景和背景差异最大，此时的灰度T是最佳阈值。类间方差法对噪声以及目标大小十分敏感，它仅对类间方差为单峰的图像产生较好的分割效果。当目标与背景的大小比例悬殊时(例如受光照不均、反光或背景复杂等因素影响)，类间方差准则函数可能呈现双峰或多峰，此时效果不好。
4)寻找二值化后的所述光场白图像中各个微透镜图像的轮廓，图4(b)为光场白图像中各个微透镜图像的轮廓图。具体过程如下：
输入的二值化后的所述光场白图像即为0和1的图像，用f(i,j)表示图像的像素值。每次行扫描，遇到以下情况终止：f(i,j-1)＝0，f(i,j)＝1；//f(i,j)是外边界的起始点，然后从起始点开始，标记边界上的像素。在这里分配一个唯一的标示符给新发现的边界，叫做NBD。初始时NBD＝1，每次发现一个新边界加1。在这个过程中，遇到f(p,q)＝1,f(p,q+1)＝0时，将f(p,q)置为-NBD，此时，找到了右边边界的终止点。经过多次扫描，确定各个微透镜图像的轮廓。
利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心，将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心，图4(c)为光场白图像中各个微透镜图像的中心的示意图。具体过程如下：
确定微透镜的轮廓之后，每一个轮廓即为一个连通区域，根据灰度重心法计算中心，灰度重心法将区域内每一像素位置处的灰度值当做该点的“质量”，其求区域中心的公式为
其中，f(u,v)是坐标为(u,v)的像素点的灰度值，Ω是目标区域集合，是区域中心坐标，灰度重心法提取的是区域的能量中心。
6)将每个微透镜图像的中心确定为对应的微透镜的中心。
步骤S2：获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域。
步骤S3：确定所述左目标光场图像的多个矩形检测区域。
具体为：
以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域。
步骤S4：确定所述右目标光场图像的多个检测区域。
具体为：
以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域。
步骤S5：利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集。
所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点。
步骤S6：利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集。
所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点。
步骤S7：利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对。具体过程如下：
对两幅图像中的特征点进行匹配，实际上就是找出两幅图像中两个相似度最高的两个特征点的向量，暴力算法是以特征向量欧式距离相似度进行计算的。
1)令X＝(x1,x2,...,xn)T，Y＝(y1,y2,...,yn)T，X，Y分别表示第一特征点集和第二特征点集，n表示维数，本实施例中，n＝128。
2)计算第一特征点集和第二特征点集中特征向量之间的距离
3)求出两个特征点特征向量之间的距离后进行匹配，当左目标光场图像中的特征点在右目标光场图像中找寻一个最近邻点和次近邻点，这两个点与左目标光场图像中的特征点特征向量距离为d1,d2，若d1<0.5*d2，则视为两个点正确匹配。
步骤S8：对多个所述匹配点对进行初次筛选。
具体包括：
计算各个所述匹配点对的余弦值；
依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断每个所述匹配点对的余弦值是否小于所述余弦平均值；
若是，则保留所述匹配点对；
否则，删除所述匹配点对。
步骤S9：对初次筛选后的所述匹配点对进行二次筛选。
具体包括：
利用随机抽样一致性算法(RANdom SAmple Consensus，RANSAC)对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
步骤S10：确定各个所述匹配点对中特征点的坐标。
步骤S11：依据所述坐标，计算单应矩阵。具体包括：
光场坐标是四维坐标，用(u,v,s,t)来表示，(u,v)为微透镜的坐标，(x,t)为传感器上的坐标，因此我们求出的单应矩阵是大小为5*5的矩阵H，满足给定一个点p1＝(u1,v1,s1,t1,w1)T,H把p1变成一个新的点p2＝(u2,v2,s2,t2,w2)T＝H*p1。由于他们是齐次坐标，对应图像上的点应该是和
如果给定一个单应H＝{hij},给他的元素乘上同一个数α，得到的新的单应矩阵αH和H的作用相同，因为新的单应矩阵无非是把齐次点p1变成了齐次点αp2，αp1和p2对应的图像上的点相同，所以一个单应中只有24个自由元素，一般令右下角的那个元素h55＝1来进行归一化。
单应矩阵H中一共有24个未知数，需要24个方程来解算，所以至少需要6个匹配点对来求解，一个匹配点对提供4个方程，我们假设两幅图像上的点(u1,v1,s1,t1)T和(u2,v2,s2,t2)T，他们的齐次坐标为：(u1,v1,s1,t1,1)T和(u2,v2,s2,t2,1)T，根据上面的描述，可以得到如下四个式子：
进一步变换可得：
h11u1+h12v1+h13s1+h14t1+h15＝(h51u1+h52v1+h53s1+h54t1+1)u2
h21u1+h22v1+h23s1+h24t1+h25＝(h51u1+h52v1+h53s1+h54t1+1)v2
h31u1+h32v1+h33s1+h34t1+h35＝(h51u1+h52v1+h53s1+h54t1+1)s2
h41u1+h42v1+h43s1+h44t1+h45＝(h51u1+h52v1+h53s1+h54t1+1)t2
然后构造4*25的系数矩阵：
通过系数矩阵我们可以构造出齐次线性方程组(Ax＝0)：
上述齐次线性方程组(超定方程组)的右边为25*1的矩阵，元素为单应矩阵中的元素；如果有n对特征点对，则系数矩阵累加到4n行。
通过最小二乘的方式求解超定方程组。具体通过以下方式获得最小二乘解：
(V,D)＝eig(A'*A)(V,D)＝eig(A'*A)
其中D是特征值对角矩阵(特征值沿主对角线降序)，V是对应D特征值的特征向量(列向量)组成的特征矩阵，A’表示A的转置。其中最小二乘解为V(1)，即系数矩阵A最小特征值对应的特征向量就是超定方程组Ax＝0的最小二乘解，即求得单应矩阵矩阵H。
步骤S12：依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
本实施例中的光场图像配准方法，直接在原始图像上检测特征点，避免了提取光场子孔径图像，使得两幅光场图像即使在较小重叠的情况下也可以得到充足的特征点，提高了重叠区域较小的两幅光场图像进行配准的配准精确度，且拼接完成之后的两副光场视角更大；从时间复杂度的角度来说，本方法节省了提取光场子孔径图像的时间，进而降低了总时间的消耗。
本发明还提供了一种光场图像配准系统，图5为本发明实施例一种光场图像配准系统的结构图。
参见图5，实施例的光场图像配准系统50，包括：
微透镜中心确定模块501，用于确定光场相机中微透镜阵列中各个微透镜的中心。
所述微透镜中心确定模块501，具体包括：
白图像获取单元，用于利用光场相机拍摄匀光板，获取光场白图像；
全局阈值确定单元，用于确定所述光场白图像的全局阈值；
二值化单元，用于依据所述全局阈值对所述光场白图像进行二值化；
寻找单元，用于寻找二值化后的所述光场白图像中各个微透镜图像的轮廓；
微透镜图像中心确定单元，用于依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心；
微透镜中心确定单元，用于将每个微透镜图像的中心确定为对应的微透镜的中心。
所述微透镜图像中心确定单元，具体包括：
计算子单元，用于利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心；
图像中心确定子单元，用于将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心。
图像获取模块502，用于获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域。
第一检测区域确定模块503，用于以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域。
第二检测区域确定模块504，用于以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域。
第一点集构建模块505，用于利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集，所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点。
第二点集构建模块506，用于利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集，所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点。
匹配模块507，用于利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对。
初次筛选模块508，用于对多个所述匹配点对进行初次筛选。
所述初次筛选模块508，具体包括：
余弦值计算单元，用于计算各个所述匹配点对的余弦值；
平均值计算单元，用于依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断单元，用于判断每个所述匹配点对的余弦值是否小于所述余弦平均值；若是，则保留所述匹配点对；否则，删除所述匹配点对。
二次筛选模块509，用于利用随机抽样一致性算法对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
坐标确定模块510，用于确定各个所述匹配点对中特征点的坐标。
计算模块511，用于依据所述坐标，计算单应矩阵。
配准模块512，用于依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
本实施例中的光场图像配准系统，能够直接在原始图像上检测特征点，避免了提取光场子孔径图像，使得两幅光场图像即使在较小重叠的情况下也可以得到充足的特征点，提高了重叠区域较小的两幅光场图像进行配准的配准精确度，且拼接完成之后的两副光场视角更大；从时间复杂度的角度来说，本方法节省了提取光场子孔径图像的时间，进而降低了总时间的消耗。
本说明书中对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种光场图像配准方法，其特征在于，包括：
获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域；
以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域；
以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域；
利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集，所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点；
利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集，所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点；
利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对；
确定各个所述匹配点对中特征点的坐标；
依据所述坐标，计算单应矩阵；
依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
2.根据权利要求1所述的一种光场图像配准方法，其特征在于，在所述获取左目标光场图像和右目标光场图像之前，还包括确定光场相机中微透镜阵列中各个微透镜的中心；
所述确定光场相机中微透镜阵列中各个微透镜的中心，具体包括：
利用光场相机拍摄匀光板，获取光场白图像；
确定所述光场白图像的全局阈值；
依据所述全局阈值对所述光场白图像进行二值化；
寻找二值化后的所述光场白图像中各个微透镜图像的轮廓；
依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心；
将每个微透镜图像的中心确定为对应的微透镜的中心。
3.根据权利要求2所述的一种光场图像配准方法，其特征在于，所述依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心，具体包括：
利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心；
将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心。
4.根据权利要求1所述的一种光场图像配准方法，其特征在于，在所述利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对之后，还包括对多个所述匹配点对进行初次筛选；
所述对多个所述匹配点对进行初次筛选，具体包括：
计算各个所述匹配点对的余弦值；
依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断每个所述匹配点对的余弦值是否小于所述余弦平均值；
若是，则保留所述匹配点对；
否则，删除所述匹配点对。
5.根据权利要求4所述的一种光场图像配准方法，其特征在于，所述对多个所述匹配点对进行初次筛选之后，还包括利用随机抽样一致性算法对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
6.一种光场图像配准系统，其特征在于，包括：
图像获取模块，用于获取左目标光场图像和右目标光场图像，所述左目标光场图像和所述右目标光场图像具有重叠区域；
第一检测区域确定模块，用于以左目标光场图像中对应每个微透镜的中心为矩形中心，以所述左目标光场图像中预设个数的像素长度为矩形边长，确定所述左目标光场图像的多个矩形检测区域；
第二检测区域确定模块，用于以右目标光场图像中对应每个微透镜的中心为矩形中心，以所述右目标光场图像中所述预设个数的像素长度为半径，确定所述右目标光场图像的多个检测区域；
第一点集构建模块，用于利用尺度不变特征变换算法从所述左目标光场图像的每个检测区域中提取第一特征点，构成第一特征点集，所述第一特征点为所述左目标光场图像中每个检测区域中的尺度不变性满足预设阈值的特征点；
第二点集构建模块，用于利用尺度不变特征变换算法从所述右目标光场图像的每个检测区域中提取第二特征点，构成第二特征点集，所述第二特征点为所述右目标光场图像中每个检测区域中的尺度不变性满足所述预设阈值的特征点；
匹配模块，用于利用暴力算法对所述第一特征点集中的特征点与所述第二特征点集中的特征点进行匹配，得到多个匹配点对；
坐标确定模块，用于确定各个所述匹配点对中特征点的坐标；
计算模块，用于依据所述坐标，计算单应矩阵；
配准模块，用于依据所述单应矩阵，得到所述左目标光场图像和所述右目标光场图像配准后的图像。
7.根据权利要求6所述的一种光场图像配准系统，其特征在于，还包括微透镜中心确定模块，用于确定光场相机中微透镜阵列中各个微透镜的中心；
所述微透镜中心确定模块，具体包括：
白图像获取单元，用于利用光场相机拍摄匀光板，获取光场白图像；
全局阈值确定单元，用于确定所述光场白图像的全局阈值；
二值化单元，用于依据所述全局阈值对所述光场白图像进行二值化；
寻找单元，用于寻找二值化后的所述光场白图像中各个微透镜图像的轮廓；
微透镜图像中心确定单元，用于依据所述各个微透镜图像的轮廓确定所述光场白图像中各个微透镜图像的中心；
微透镜中心确定单元，用于将每个微透镜图像的中心确定为对应的微透镜的中心。
8.根据权利要求7所述的一种光场图像配准系统，其特征在于，所述微透镜图像中心确定单元，具体包括：
计算子单元，用于利用灰度重心法计算各个微透镜图像的轮廓构成的联通区域的中心；
图像中心确定子单元，用于将所述各个微透镜图像的轮廓构成的联通区域的中心确定为对应的所述光场白图像中各个微透镜图像的中心。
9.根据权利要求6所述的一种光场图像配准系统，其特征在于，还包括初次筛选模块，用于对多个所述匹配点对进行初次筛选；
所述初次筛选模块，具体包括：
余弦值计算单元，用于计算各个所述匹配点对的余弦值；
平均值计算单元，用于依据所述余弦值，计算多个所述匹配点对的余弦平均值；
判断单元，用于判断每个所述匹配点对的余弦值是否小于所述余弦平均值；若是，则保留所述匹配点对；否则，删除所述匹配点对。
10.根据权利要求9所述的一种光场图像配准系统，其特征在于，还包括二次筛选模块，用于利用随机抽样一致性算法对初次筛选后的所述匹配点对进行二次筛选，删除所述初次筛选后的所述匹配点对中的噪声点对。
CN201810156779.4A 2018-02-24 2018-02-24 一种光场图像配准方法及系统 Active CN108376409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810156779.4A CN108376409B (zh) 2018-02-24 2018-02-24 一种光场图像配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810156779.4A CN108376409B (zh) 2018-02-24 2018-02-24 一种光场图像配准方法及系统

Publications (2)

Publication Number Publication Date
CN108376409A true CN108376409A (zh) 2018-08-07
CN108376409B CN108376409B (zh) 2020-12-01

Family

ID=63017956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810156779.4A Active CN108376409B (zh) 2018-02-24 2018-02-24 一种光场图像配准方法及系统

Country Status (1)

Country Link
CN (1) CN108376409B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272474A (zh) * 2018-11-21 2019-01-25 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统预校正参数方法及用于成像系统的预校正方法
CN109309798A (zh) * 2018-08-15 2019-02-05 吴伟锋 数据帧自动抓取机构
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN111951159A (zh) * 2020-07-02 2020-11-17 西安理工大学 一种强噪声条件下光场epi图像超分辨率的处理方法
CN112184578A (zh) * 2020-09-23 2021-01-05 南京大学 一种标定光场成像中各微透镜成像的中心坐标的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663732A (zh) * 2012-03-14 2012-09-12 中国科学院光电研究院 一种针对光场相机进行相对辐射定标的方法
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
CN103714544A (zh) * 2013-12-27 2014-04-09 苏州盛景空间信息技术有限公司 一种基于sift特征点匹配的优化方法
CN103838568A (zh) * 2012-11-26 2014-06-04 诺基亚公司 用于生成超分辨图像的方法、装置和计算机程序产品
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663732A (zh) * 2012-03-14 2012-09-12 中国科学院光电研究院 一种针对光场相机进行相对辐射定标的方法
CN102833487A (zh) * 2012-08-08 2012-12-19 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
CN103838568A (zh) * 2012-11-26 2014-06-04 诺基亚公司 用于生成超分辨图像的方法、装置和计算机程序产品
CN103714544A (zh) * 2013-12-27 2014-04-09 苏州盛景空间信息技术有限公司 一种基于sift特征点匹配的优化方法
CN106910208A (zh) * 2017-03-07 2017-06-30 中国海洋大学 一种存在运动目标的场景图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID G. LOWE: "Distinctive Image Features from Scale-Invariant Keypoints", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109309798A (zh) * 2018-08-15 2019-02-05 吴伟锋 数据帧自动抓取机构
CN109309798B (zh) * 2018-08-15 2019-05-10 上海极链网络科技有限公司 数据帧自动抓取机构
CN109272474A (zh) * 2018-11-21 2019-01-25 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统预校正参数方法及用于成像系统的预校正方法
CN109272474B (zh) * 2018-11-21 2022-04-12 大陆汽车车身电子系统（芜湖）有限公司 确定成像系统校正参数方法及成像系统的预校正方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN111951159A (zh) * 2020-07-02 2020-11-17 西安理工大学 一种强噪声条件下光场epi图像超分辨率的处理方法
CN111951159B (zh) * 2020-07-02 2024-04-26 西安理工大学 一种强噪声条件下光场epi图像超分辨率的处理方法
CN112184578A (zh) * 2020-09-23 2021-01-05 南京大学 一种标定光场成像中各微透镜成像的中心坐标的方法

Also Published As

Publication number Publication date
CN108376409B (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN108376409A (zh) 一种光场图像配准方法及系统
Ma et al. Infrared and visible image fusion via gradient transfer and total variation minimization
US11682232B2 (en) Device and method with image matching
US8103055B2 (en) Detection of blobs in images
CN109377469A (zh) 一种热成像融合可见光图像的处理方法、系统及存储介质
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
Fan et al. New point matching algorithm using sparse representation of image patch feature for SAR image registration
Fan et al. SAR image registration using multiscale image patch features with sparse representation
CN109657717A (zh) 一种基于多尺度密集结构特征提取的异源图像匹配方法
CN110009670A (zh) 基于fast特征提取和piifd特征描述的异源图像配准方法
CN111814567A (zh) 人脸活体检测的方法、装置、设备和存储介质
Primdahl et al. Change detection from multiple camera images extended to non-stationary cameras
Krotosky et al. Multimodal stereo image registration for pedestrian detection
CN111882594A (zh) 一种基于orb特征点的偏振图像快速配准方法及装置
Domke et al. A probabilistic framework for correspondence and egomotion
Yang et al. Depth from water reflection
US11568683B2 (en) Facial biometrics system and method using digital fingerprints
Wu et al. An accurate feature point matching algorithm for automatic remote sensing image registration
CN113808070A (zh) 一种双目数字散斑图像相关的视差测量方法
Yu et al. Coarse-to-fine accurate registration for airborne Sar images using SAR-FAST and DSP-LATCH
Betke et al. Information-conserving object recognition
Fei et al. Obstacle Detection for Agricultural Machinery Vehicle
Li et al. Scale invariant feature matching using rotation-invariant distance for remote sensing image registration
Liu et al. River detection using LBP and morphology in infrared image
Deshmukh et al. A comparative study of feature detection methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant