CN111292233B - 透镜阵列图像拼接方法、装置及存储介质 - Google Patents
透镜阵列图像拼接方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111292233B CN111292233B CN201811488745.1A CN201811488745A CN111292233B CN 111292233 B CN111292233 B CN 111292233B CN 201811488745 A CN201811488745 A CN 201811488745A CN 111292233 B CN111292233 B CN 111292233B
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- maximum
- matrix
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 103
- 230000004927 fusion Effects 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000007476 Maximum Likelihood Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 101100491335 Caenorhabditis elegans mat-2 gene Proteins 0.000 description 1
- 102100040428 Chitobiosyldiphosphodolichol beta-mannosyltransferase Human genes 0.000 description 1
- 101000891557 Homo sapiens Chitobiosyldiphosphodolichol beta-mannosyltransferase Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明实施例公开一种透镜阵列图像拼接方法、装置及存储介质，涉及图像处理技术领域。该透镜阵列图像拼接方法包括：获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；根据所述最大相似区域，对各个子图像进行插值处理；对插值处理后的各所述子图像进行拼接融合。本发明通过获取子图像的相似区域，并根据各个子图像的相似区域对子图像进行滤波和缩放处理之后，再对子图像进行拼接，在子图像拼接成整体图像时不会失真，提高了透镜阵列的成像质量。此外，由于子图像带有深度信息，拼接成的整体图像也带有深度信息，从而可形成全景深的立体图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种透镜阵列图像拼接方法、装置及存储介质。
背景技术
透镜阵列是一种包含有多个呈阵列排布的子透镜的光学器件，现已广泛应用于广场相机、复眼相机以及大视野的显微相机中。其子透镜在透镜阵列内以有序的、等间隔的方形\矩形阵列形式排布。每个子透镜都可以对自身视野范围内的物体成像，每个子透镜所呈图像称作子图像。因此透镜阵列在一次成像中得到的像图(通过透镜阵列后成像得到的原始图像)内包含了多个子图像，且子图像在像图内的排布形式对应子透镜在透镜阵列内的排布形式。透镜阵列成像的任务是对包含有多个子图像的像图进行处理，最终输出的结果是由子图像拼接形成的完整图像。
在透镜阵列成像后进行图像拼接时，常常从子图像中选取一个适当大小的圆形区域也叫做像圆来完成拼接，相邻的像圆会产生部分重叠区域，如何处理重叠区域内的图像，使之在相邻的像圆间自然过渡、无失真感，这也是影响透镜阵列成像质量的一个关键步骤。
发明内容
有鉴于此，本发明实施例提供了一种透镜阵列图像拼接方法、装置及存储介质，用于解决现有技术中子图像拼接时出现的失真，影响最终成像效果的技术问题。
第一方面，本发明提供一种透镜阵列拼接方法，所述透镜阵列包括多个呈阵列排布的子透镜，所述方法包括：
获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；
根据所述最大相似区域，对各个子图像进行插值处理；
对插值处理后的各所述子图像进行拼接融合。
进一步的，所述获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿包括：
确定所述子图像像素大小，及子透镜行数和列数；
根据子图像周围的图像灰度值、RGB值以及渐晕区域对所述子图像进行滤波和能量补偿。
进一步的，所述对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域包括：
获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵；
根据所述行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵获取所述子图像的最大相似像素点数；
根据所述最大相似像素点数确定所述最大相似区域。
进一步的，所述获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵包括：
选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和最大计算列数；
分别获取相邻子图像行方向组合矩阵和列方向组合矩阵；
根据所述行方向组合矩阵的第一预定数据获取所述行方向组合图像的最大相关系数；根据所述列方向组合矩阵的第二预定数据获取所述列方向组合图像的最大相关系数；
确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵中；确定所述列方向组合图像最大相关系数对应的位置值，保存到子图像列方向最大相似像素点矩阵中。
进一步的，所述获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵包括：
选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和可偏离像素点值；设置局部子透镜图像大小；
根据相邻子图像行方向组合矩阵的第三预定数据获取所述行方向组合图像的最大相关系数；
确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵和子图像行方向偏移矩阵中。
进一步的，所述对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域包括：
选取相邻的像圆，其中，所述像圆为圆形区域；
确定像圆相交的公共区域；
根据所述公共区域分别确定第一像圆半径和第二像圆半径，并分别提取第一像圆矩阵和第二像圆矩阵；
根据所述第一像圆矩阵和第二像圆矩阵计算不同移动像素点数所对应相关系数；
以最大相关系数所对应的偏离像素点数为最大相似区域。
进一步的，所述根据所述最大相似区域，对各个子图像进行插值处理包括：
获取对焦面处子图像的最大相关像素点数；
依次计算各方向的插值系数；
根据各方向的插值系数，获取插值子图像。
进一步的，所述对插值处理后的各所述子图像进行拼接融合包括：
对所述插值子图像按照原始对焦子图像大小进行裁剪；
将裁剪后的子图像分为固定区域和拼接区域，将所述拼接区域分为两幅图像融合区域和四幅图像融合区域；
分别对所述两幅图像融合区域和所述四幅图像融合区域进行拼接融合。
本发明另一方面还提供一种透镜阵列图像拼接装置，包括：
预处理模块，用于获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
计算模块，用于对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；
插值模块，用于根据所述最大相似区域，对各子图像进行插值处理；
拼接模块，用于对插值处理后的所述子图像进行拼接融合。
本发明另一方面还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一所述的透镜阵列图像拼接方法的各个步骤。
本发明提供的一种透镜阵列图像拼接方法、装置及存储介质，通过获取子图像的相似区域，并根据各个子图像的相似区域对子图像进行滤波和缩放处理之后，再对子图像进行拼接，在子图像拼接成整体图像时不会失真，提高了透镜阵列的成像质量。此外，本发明中，由于透镜阵列形成的子图像带有深度信息，拼接成的整体图像也带有深度信息，从而可形成全景深的立体图像。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例提供的透镜阵列图像拼接方法流程图；
图2a～2b示出了本发明实施例中子图像能量补偿前后的图片；
图2c示出了图2a中子图像补偿后的另一种图片；
图3示出了本发明实施例中行列数为2*2的局部子透镜图像①②③④；
图4示出了本发明实施例提供的一种获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵方法的流程图；
图5示出了本发明实施例提供的另一种获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵方法的流程图；
图6示出了本发明实施例获取相似区域的示意图；
图7示出了本发明实施例每个子图像四个方向上的相似像素点数up_pixel、right_pixel、down_pixel和left_pixe；
图8示出了本发明实施例子图像缩放的示意图；
图9示出了本发明实施例子图像拼接区域的分区示意图；
图10示出了本发明实施例子图像分区的示意图；
图11示出了本发明实施例子图像插值区域划分示意图；
图12示出了本发明实施例随机像素点选择示意图；
图13示出了本发明插值区域示意图；
图14示出了本发明另一实施例的透镜阵列图像拼接装置的示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例一
本发明提供一种透镜阵列图像拼接方法，其中，所述透镜阵列包括多个呈阵列排布的子透镜，如图1所示，该方法包括：
S101、获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
本步骤中，根据实际系统设计选择一个子透镜像圆的像素大小Pixel0_row*Pixel0_col，其中，Pixel0_row＝Pixel0_col，同时确定子透镜的行数seg_row和列数seg_col，也就是得到子透镜的数量。
根据子图像周围的图像灰度值、RGB值，渐晕区域对各个子图像进行能量补偿。能量补偿前后的图片如图2a和图2b所示。
其中，子图像可以采用图2b中的方形区域进行滤波和能量补偿，也可以采用图2c中的圆形区域进行滤波和能量补偿。
S102、对相邻子透镜所成的子图像进行图像相似计算，获取最大相似区域；
具体的，本步骤包括：
S1021、获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵；
在一种具体实施方式中，本步骤包括：
S1、选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和最大计算列数；
S2、分别获取相邻子图像行方向组合矩阵和列方向组合矩阵；
S3、根据所述行方向组合矩阵的第一指定数据获取所述行方向组合图像的最大相关系数；根据所述列方向组合矩阵的第二指定数据获取所述列方向组合图像的最大相关系数；
S4、确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵中；确定所述列方向组合图像最大相关系数对应的位置值，保存到子图像列方向最大相似像素点矩阵中。
下面以选取某一子透镜A(seg_ii，seg_jj)，提取如图3所示行列数为2*2的局部子透镜图像①②③④，设置最大计算行数ii_max和最大计算列数jj_max为例来说明，具体过程如图4所示，
S10、选取某一子透镜A(seg_ii，seg_jj)，提取如图3所示行列数为2*2的局部子透镜图像①②③④，设置最大计算行数ii_max和最大计算列数jj_max。
下面以行方向组合矩阵为例进行说明，列方向组合矩阵与行方向组合矩阵方式相同。
S11、组合行方向图像①②为Com_img_up，大小为Pixel0_row×2Pixel0_col；组合行方向图像③④为Com_img_dow，大小为Pixel0_row×2Pixel0_col；
S12、ii＝1，提取图像Com_img_up中最后ii行数据，计为矩阵part_img_up，大小为ii×2Pixel0_col；提取图像Com_img_dow中前面ii行数据，计为矩阵part_img_dow，大小为ii×2Pixel0_col；
S13、计算part_img_up与part_img_dow的相关系数part_r，计入局部系数矩阵part_corr_row(ii)＝part_r；
S14、判断ii是否等于ii_max；
S15、当ii≠ii_max时，ii＝ii+1，循环执行步骤S12～S14。
S16、当ii＝ii_max时，寻找矩阵part_corr_row中最大的相关系数part_r_max所对应的位置值：
ii_get＝find(part_corr_row＝＝max(part_corr_row))，若最大值对应多个位置，取中间位置值，并保存到保存到子图像行方向最大相似像素点矩阵中All_corr_row(seg_ii,seg_jj)＝ii_get。
在另一种实施方式中，本步骤包括：
S21、选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和可偏离像素点值；设置局部子透镜图像大小；
S22、根据相邻子图像行方向组合矩阵的第三指定数据获取所述行方向组合图像的最大相关系数；
S23、确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵和子图像行方向偏移矩阵中。
下面以选取某一子透镜(seg_ii,seg_jj)，编号为①，提取行列数为2*2的局部子透镜图像①②③④，设置最大计算行数ii_max和可偏离像素点值d_pixel0为例来具体说明以上各步骤的执行。具体参见图5。
S31、选取任一子透镜B，提取行列数为2*2的局部子透镜图像①②③④，设置最大计算行数ii_max和可偏离像素点值d_pixel0；设置局部子透镜图像大小为Pixel0_row×Pixel0_col；
S32、提取①②图像:Mat_img1(end-ii+1:end,(d_pixel0+1:end-d_pixel0))，Mat_img2(end-ii+1:end,(d_pixel0+1:end-d_pixel0))，
组合矩阵计为part_img_up，大小为ii×2(Pixel0_col-2*d_pixel0)；
起始时ii＝1，delta_pixel＝-delta_pixel0，
S33、提取③④图像:
Mat_img3(1:ii,(d_pixel0+1:end-d_pixel0)+delta_pixel)，Mat_img4(1:ii,(d_pixel0+1:end-d_pixel0)+delta_pixel)，
组合矩阵计为part_img_down，大小为ii×2(Pixel0_col-2*d_pixel0)；
起始时ii＝1，delta_pixel＝-delta_pixel0。
S34、计算part_img_up与part_img_dow的相关系数part_r，计入局部系数矩阵part_corr_row(ii，d_pixel0+delta_pixel+1)＝part_r；
S35、判断d_pixel是否等于d_pixel0；
S36、当d_pixel≠d_pixel0时，ii＝ii执行步骤33。
当d_pixel＝d_pixel0时，判断ii是否等于ii_max；
S37、当ii≠ii_max时，ii＝ii+1，d_pixel＝-d_pixel0，执行步骤32。
当ii＝ii_max，寻找矩阵part_corr_row中最大的相关系数part_r_max所对应的位置值：
(ii_get,col_get)＝find(part_corr_row＝＝max(part_corr_row))，并保存到子图像行方向最大相似像素点矩阵All_corr_row(seg_ii,seg_jj)＝ii_get；和子图像行方向偏移矩阵Delta_corr_row(seg_ii,seg_jj)＝col_get；
S1022、根据所述行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵获取所述子图像的最大相似像素点数；
首先，计算所述行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵的相关系数，具体可以通过下式：
其中r(X,Y)表示矩阵X与矩阵Y的相关系数，Cov(X,Y)表示矩阵X与矩阵Y之间的协方差，Var(X)与Var(Y)分别表示X和Y的方差。
随后，根据各个子图像的行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵的相关系数确定最大相似像素点。
S1023、根据所述最大相似像素点数确定所述最大相似区域。
在另一种具体实施方式中，本步骤包括：
S41、选取相邻的像圆，其中，所述像圆为圆形区域。
S42、确定像圆相交的公共区域；
S43、根据所述公共区域分别确定第一像圆半径和第二像圆半径，并分别提取第一像圆矩阵和第二像圆矩阵。
S44、根据所述第一像圆矩阵和第二像圆矩阵计算不同移动像素点数所对应相关系数。
S45、以最大相关系数所对应的偏离像素点数为最大相似区域。
具体的，根据光学设计原理确定相似区域，两幅像圆图像沿公共方向选取不同大小的相交区域，如图6所示，其中像圆1的有效区域为半径R1的圆面，提取矩阵为Mat1；像圆2的有效区域为半径R2的圆面，提取矩阵为Mat2，可依次计算具有不同移动像素点数所对应相关系数，最后以最大相关系数所对应的偏离像素点数为最大相似区域。
该实施方式具体优势为，相对方形子像圆，圆形子像元具有跟多的图像信息，有利于图像相似计算和图像融合。
S103、根据所述最大相似区域，对各子图像进行插值处理；
具体的，本步骤包括：
S51、获取对焦面处子图像的最大相关像素点数；
S52、依次计算各方向的插值系数；
S53、根据各方向的插值系数，获取插值子图像。
在一种具体的实施方式中，可采用分块区域提取的方式获取最大相似像素点数和插值系数。具体的，对单一子图像分区，如图10所示，可分为四个区域，根据系统理论设计得到先验重复块，即相邻像圆两边区域，如像圆1的④区和像圆2的①区；或像圆1的①区和像圆2的④区。可参照单一子图像的取相似值方式得到子像元8个方向上的最大相似像素点和插值系数。如图11所示。该方法对可更好分辨成像物景为近景和远景交汇的像圆以及系统算法的准确性。
在另一种实施方式中，可采用间隔取值的方式获取最大相似像素点数和插值系数。具体的，根据所得到相邻的子图像，根据先验知识确定具有相似性的子图像方向，在一幅子图像中根据需要的行列数随机选择像素点矩阵，在另一幅像圆对称位置选取相同位置关系的像素点矩阵，如图12所示，黑色区域为随机选择区域(在13×3的矩阵中随机选择多个点)，计算出该种情况矩阵的相关系数。同时，可在一组行列矩阵中可计算多组随机值的相关系数，提高该行列矩阵下的图像相关性的准确度。最后，选择具有最佳相似性的像素点设计各方向的插值系数。如图13所示。
S104、对插值处理后的所述子图像进行拼接融合。
具体的，本步骤包括：
S1041、对所述缩放子图像按照原始对焦子图像大小进行裁剪；
具体的，将缩放得到的子图像Seg_scale_img0按照原始对焦子图像大小进行裁剪，中心保留，边缘裁剪，最后可得到相应Seg_scale_img。
S1042、将裁剪后的子图像分为固定区域和拼接区域，将所述拼接区域分为两幅图像融合区域和四幅图像融合区域；
具体的，将裁剪后的单幅子图分为中心固定区域和边缘拼接区域。其中，固定区域指在相邻子图像中未出现相似部分，记为fixed_pixel，拼接区域指在相邻子图像中的相似部分，记为focus_pixel。进一步的，如图9所示，将拼接区域分为两幅图像融合区域(即上下左右融合)和四幅图像融合区域(四个角融合)，
S1043、分别对所述两幅图像融合区域和所述四幅图像融合区域进行拼接融合。
具体可采用如harr小波算法对所述两幅图像融合区域和所述四幅图像融合区域进行拼接融合，本发明对具体图像融合算法不作限定。
本发明提供的一种透镜阵列图像拼接方法，通过获取子图像的相似区域，并根据各个子图像的相似区域对子图像进行滤波和缩放处理之后，再对子图像进行拼接，在子图像拼接成整体图像时不会失真，提高了透镜阵列的成像质量。此外，本发明中，由于透镜阵列形成的子图像带有深度信息，拼接成的整体图像也带有深度信息，从而可形成全景深的立体图像。
实施例二
本发明提供另一种透镜阵列图像拼接方法，该方法与实施例一的不同在于，步骤S103采用如下步骤S103’。
S103’、根据所述最大相似区域，通过滤波滤除所述原始图像中的突变区域。
具体的，本步骤包括：
S1031、分别对所述行方向最大相似像素点矩阵和所述列方向最大相似像素点矩阵进行中值滤波，得到行方向滤波矩阵和列方向滤波矩阵；
S1032、根据所述行方向滤波矩阵和所述列方向滤波矩阵确定所述子图像上下左右四个方向的伸缩系数；
具体的，已知将对焦面位置单个子透镜的行列方向上的重复像素focus_pixel和单边未重复信息的像素点数fixed_pixel(2*(focus_pixel+fixed_pixel)+1或2*(focus_pixel+fixed_pixel)作为子透镜图像行列数大小Pixel0_row×Pixel0_col，子图像大小为奇数或偶数。根据行方向滤波矩阵All_filter_row和列方向滤波矩阵All_filter_col可得如图7所示每个子图像四个方向上的相似像素点数up_pixel、right_pixel、down_pixel和left_pixel。根据对焦面数据计算四个方向上的伸缩系数up_par、right_par、down_par和left_par，其中:
up_par＝(focus_pixel+fixed_pixel-up_pixel)/fixed_pixel；
right_par＝(focus_pixel+fixed_pixel-right_pixel)/fixed_pixel；
down_par＝(focus_pixel+fixed_pixel-down_pixel)/fixed_pixel；
left_par＝(focus_pixel+fixed_pixel-left_pixel)/fixed_pixel；
S1033、根据所述四个方向的伸缩系数对所述子图像进行缩放，得到缩放子图像。
示例性的，如图8所示，缩放子图像上一点A，A与子图像中心连线为OA，A复原在原始子图像一点A’。OA与水平线OR夹角为θ，由right_par和up_par可得OA的原始缩放系数关系。根据A’所在位置可得与其相邻的4个原始子图像像点P1、P2、P3和P4，及对应像点中心距离d1、d2、d3和d4。根据各像点距离计算相应权重值，距离越短权重越大，之后将4个像点值所得权重赋值，依次可得像点P1、P2、P3和P4权重W1、W2、W3和W4。
最后根据计算所得权重计算相应A点的像素点值A_RGB＝P1_RGB*W1+P2_RGB*W2+P3_RGB*W3+P4_RGB*W4。依次计算缩放图像所在原始子图像的位置点，计算各点值，可得最后的缩放子图像Seg_scale_img0。
基于上述各方法实施例，提出以下装置实施例。
实施例三
本发明实施例三在基于前述实施例一和二的基础上提供一种透镜阵列图像拼接装置，如图14所示，该透镜阵列图像拼接装置8包括：
预处理模块81，用于获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
计算模块82，用于对相邻子透镜所成的子图像进行图像相似计算，获取最大相似区域；
插值模块83，用于根据所述最大相似区域，对各子图像进行插值处理；
拼接模块84，用于对所述子图像进行拼接融合。
另外，结合实施例一和实施例二描述的本发明实施例的透镜阵列拼接方法可以由透镜阵列拼接设备来实现。
透镜阵列拼接设备可以包括处理器以及存储有计算机程序指令的存储器。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种透镜阵列图像拼接方法。
在一个示例中，透镜阵列图像拼接设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将透镜阵列图像拼接设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例四
结合上述实施例中的透镜阵列图像拼接方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例一和二中的任意一种透镜阵列图像拼接方法。
本发明提供的一种透镜阵列图像拼接方法、装置及存储介质，通过获取子图像的相似区域，并根据各个子图像的相似区域对子图像进行滤波和缩放处理之后，再对子图像进行拼接，在子图像拼接成整体图像时不会失真，提高了透镜阵列的成像质量。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.一种透镜阵列图像拼接方法，其特征在于，所述透镜阵列包括多个呈阵列排布的子透镜，所述方法包括：
获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；
根据所述最大相似区域，对各个子图像进行插值处理；
对插值处理后的各所述子图像进行拼接融合；
其中，所述对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域包括：
获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵；
根据所述行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵获取所述子图像的最大相似像素点数；
根据所述最大相似像素点数确定所述最大相似区域。
2.根据权利要求1所述的透镜阵列图像拼接方法，其特征在于，所述获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵包括：
选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和最大计算列数；
分别获取相邻子图像行方向组合矩阵和列方向组合矩阵；
根据所述行方向组合矩阵的第一预定数据获取所述行方向组合图像的最大相关系数；根据所述列方向组合矩阵的第二预定数据获取所述列方向组合图像的最大相关系数；
确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵中；确定所述列方向组合图像最大相关系数对应的位置值，保存到子图像列方向最大相似像素点矩阵中。
3.根据权利要求1所述的透镜阵列图像拼接方法，其特征在于，所述获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵包括：
选取任一子透镜，提取行列数为2*2的局部子透镜图像，设置最大计算行数和可偏离像素点值；设置局部子透镜图像大小；
根据相邻子图像行方向组合矩阵的第三预定数据获取所述行方向组合图像的最大相关系数；
确定所述行方向组合图像最大相关系数对应的位置值，保存到子图像行方向最大相似像素点矩阵和子图像行方向偏移矩阵中。
4.一种透镜阵列图像拼接方法，其特征在于，所述透镜阵列包括多个呈阵列排布的子透镜，所述方法包括：
获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；
根据所述最大相似区域，对各个子图像进行插值处理；
对插值处理后的各所述子图像进行拼接融合；
其中，所述对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域包括：
选取相邻的像圆，其中，所述像圆为圆形区域；
确定像圆相交的公共区域；
根据所述公共区域分别确定第一像圆半径和第二像圆半径，并分别提取第一像圆矩阵和第二像圆矩阵；
根据所述第一像圆矩阵和第二像圆矩阵计算不同移动像素点数所对应相关系数；
以最大相关系数所对应的偏离像素点数为最大相似区域。
5.根据权利要求1-4任意一项所述的透镜阵列图像拼接方法，其特征在于，所述获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿包括：
确定所述子图像像素大小，及子透镜行数和列数；
根据子图像周围的图像灰度值、RGB值以及渐晕区域对所述子图像进行滤波和能量补偿。
6.根据权利要求5所述的透镜阵列图像拼接方法，其特征在于，所述根据所述最大相似区域，对各个子图像进行插值处理包括：
获取对焦面处子图像的最大相关像素点数；
依次计算各方向的插值系数；
根据各方向的插值系数，获取插值子图像。
7.根据权利要求6所述的透镜阵列图像拼接方法，其特征在于，所述对插值处理后的各所述子图像进行拼接融合包括：
对所述插值子图像按照原始对焦子图像大小进行裁剪；
将裁剪后的子图像分为固定区域和拼接区域，将所述拼接区域分为两幅图像融合区域和四幅图像融合区域；
分别对所述两幅图像融合区域和所述四幅图像融合区域进行拼接融合。
8.一种透镜阵列图像拼接装置，其特征在于，所述透镜阵列包括多个呈阵列排布的子透镜，包括：
预处理模块，用于获取通过所述透镜阵列得到的原始图像，对所述子透镜所成子图像进行滤波和能量补偿；
计算模块，用于对相邻子透镜所成的子图像进行图像相似性计算，获取最大相似区域；
插值模块，用于根据所述最大相似区域，对各子图像进行插值处理；
拼接模块，用于对插值处理后的所述子图像进行拼接融合；
其中，用于获取所述最大相似区域模块包括：获取子图像沿行方向最大相似像素点矩阵和子图像沿列方向的最大相似像素点矩阵；根据所述行方向最大相似像素点矩阵和所述列方向的最大相似像素点矩阵获取所述子图像的最大相似像素点数；根据所述最大相似像素点数确定所述最大相似区域。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任一所述的透镜阵列图像拼接方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811488745.1A CN111292233B (zh) | 2018-12-06 | 2018-12-06 | 透镜阵列图像拼接方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811488745.1A CN111292233B (zh) | 2018-12-06 | 2018-12-06 | 透镜阵列图像拼接方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292233A CN111292233A (zh) | 2020-06-16 |
| CN111292233B true CN111292233B (zh) | 2023-08-15 |
Family
ID=71028001
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811488745.1A Active CN111292233B (zh) | 2018-12-06 | 2018-12-06 | 透镜阵列图像拼接方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292233B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001177738A (ja) * | 1999-12-16 | 2001-06-29 | Canon Inc | 画像合成方法及び画像処理装置 |
| JP2010068018A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置、撮像装置および表示装置 |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| CN105007405A (zh) * | 2014-04-18 | 2015-10-28 | 佳能株式会社 | 图像处理方法、图像处理设备和摄像设备 |
| WO2016113805A1 (en) * | 2015-01-16 | 2016-07-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, program, and storage medium |
| CN105812625A (zh) * | 2014-12-30 | 2016-07-27 | 深圳超多维光电子有限公司 | 微透镜阵列成像装置与成像方法 |
| CN106791331A (zh) * | 2017-01-13 | 2017-05-31 | 成都微晶景泰科技有限公司 | 基于透镜阵列成像的图像处理方法、装置及成像系统 |
| CN108062007A (zh) * | 2016-11-07 | 2018-05-22 | 俞庆平 | 一种提高光刻能量均匀性和改善拼接的方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3710452B2 (ja) * | 2003-03-11 | 2005-10-26 | キヤノン株式会社 | 画像読み取り装置、データ補間方法及び制御プログラム |
| US7593597B2 (en) * | 2003-08-06 | 2009-09-22 | Eastman Kodak Company | Alignment of lens array images using autocorrelation |
| US7627435B2 (en) * | 2004-08-04 | 2009-12-01 | Agilent Technologies, Inc. | Filtering of pixel signals during array scanning |
| WO2008076910A1 (en) * | 2006-12-15 | 2008-06-26 | The Board Of Trustees Of The Leland Stanford Junior University | Image mosaicing systems and methods |
| US9052759B2 (en) * | 2007-04-11 | 2015-06-09 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Dynamically reconfigurable pixel array for optical navigation |
| US8073199B2 (en) * | 2008-05-30 | 2011-12-06 | Drs Rsta, Inc. | Method for minimizing scintillation in dynamic images |
-
2018
- 2018-12-06 CN CN201811488745.1A patent/CN111292233B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001177738A (ja) * | 1999-12-16 | 2001-06-29 | Canon Inc | 画像合成方法及び画像処理装置 |
| JP2010068018A (ja) * | 2008-09-08 | 2010-03-25 | Sony Corp | 画像処理装置、撮像装置および表示装置 |
| JP2014149798A (ja) * | 2013-02-04 | 2014-08-21 | Casio Comput Co Ltd | 画像処理装置、撮像装置、画像処理方法及びプログラム |
| CN105007405A (zh) * | 2014-04-18 | 2015-10-28 | 佳能株式会社 | 图像处理方法、图像处理设备和摄像设备 |
| CN105812625A (zh) * | 2014-12-30 | 2016-07-27 | 深圳超多维光电子有限公司 | 微透镜阵列成像装置与成像方法 |
| WO2016113805A1 (en) * | 2015-01-16 | 2016-07-21 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, program, and storage medium |
| CN108062007A (zh) * | 2016-11-07 | 2018-05-22 | 俞庆平 | 一种提高光刻能量均匀性和改善拼接的方法 |
| CN106791331A (zh) * | 2017-01-13 | 2017-05-31 | 成都微晶景泰科技有限公司 | 基于透镜阵列成像的图像处理方法、装置及成像系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292233A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106469431B (zh) | 图像处理装置 | |
| CN107409166B (zh) | 摇摄镜头的自动生成 | |
| US8803984B2 (en) | Image processing device and method for producing a restored image using a candidate point spread function | |
| EP3373241A1 (en) | Method and device for image splicing | |
| US10306210B2 (en) | Image processing apparatus and image capturing apparatus | |
| CN104079818B (zh) | 摄像装置、图像处理系统、摄像系统和图像处理方法 | |
| CN109858309B (zh) | 一种识别道路线的方法和装置 | |
| CN113079325B (zh) | 暗光条件下的十亿级像素成像方法、装置、介质及设备 | |
| US8948453B2 (en) | Device, method and non-transitory computer readable storage medium for detecting object | |
| CN103369233A (zh) | 用于通过利用自适应核来执行深度估计的系统和方法 | |
| US20220343520A1 (en) | Image Processing Method and Image Processing Apparatus, and Electronic Device Using Same | |
| CN111383278A (zh) | 一种双摄像头的标定方法、装置及设备 | |
| CN110909750A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
| JP5900017B2 (ja) | 奥行き推定装置、再構成画像生成装置、奥行き推定方法、再構成画像生成方法及びプログラム | |
| CN111292233B (zh) | 透镜阵列图像拼接方法、装置及存储介质 | |
| CN111292232B (zh) | 透镜阵列图像拼接方法、装置及存储介质 | |
| CN113298187A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
| CN110874814B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
| CN106683044B (zh) | 一种多通道光学探测系统的图像拼接方法、装置 | |
| CN115631171B (zh) | 一种图片清晰度评价方法、系统及存储介质 | |
| WO2014023641A1 (en) | Refinement of a disparity or motion map based on user interaction | |
| CN106296580A (zh) | 一种图像拼接的方法及装置 | |
| CN114241446A (zh) | 一种路牌角点的标记方法、装置、设备及存储介质 | |
| CN117501303A (zh) | 一种图像拼接方法及装置 | |
| KR101920159B1 (ko) | 지원점 보간법을 이용한 스테레오 매칭 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |