CN106791331B - 基于透镜阵列成像的图像处理方法、装置及成像系统 - Google Patents

Abstract

本发明公开了基于透镜阵列成像的图像处理方法、装置及成像系统。该图像处理方法主要包括：S100对各子透镜生成的像圆，每一距离矩阵的元素集合与相应每一像圆的外接四边形大小相同；S200基于像圆的距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵；S300将各像圆相应的中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵；S400对每一像圆，获取加权像圆；S500将各加权像圆按照预设的拼接间距,依次排列、叠加生成场景拼接图像。本发明通过对透镜阵列所成初始图像的重叠区域进行处理，在子图像拼接成最终完整图像时不会出现失真，提高了透镜阵列的成像质量。

Description

基于透镜阵列成像的图像处理方法、装置及成像系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于透镜阵列成像的图像处理方法、装置及成像系统。

背景技术

透镜阵列是一种包含有多个呈阵列排布的子透镜的光学器件，现已广泛应用于光场相机、复眼相机以及大视野的显微相机中。其子透镜在透镜阵列内以有序的、等间隔的方形\矩形阵列形式排布。每个子透镜都可以对自身视野范围内的物体成像，每个子透镜所呈图像称作子图像。因此透镜阵列在一次成像中得到的像图(通过透镜阵列后成像得到的初始图像)内包含了多个子图像，且子图像在像图内的排布形式对应子透镜在透镜阵列内的排布形式。透镜阵列成像的任务是对包含有多个子图像的像图进行处理，最终输出的结果是由子图像拼接形成的完整图像。

在透镜阵列成像后进行图像拼接时，常常从子图像中选取一个适当大小的圆形区域也叫作像圆来完成拼接，相邻的像圆会产生部分重叠区域，如何处理重叠区域内的图像，使之在相邻的像圆间自然过渡、无失真感，这也是影响微透镜阵列成像质量的一个关键步骤。

现有技术中，一种处理重叠区域内图像的方法是在重叠区域内，每个像素点的取值为该像素点在相邻的像圆内的取值的平均值(下文中将把这种方法称为“重叠区域平均加权融合”)。具体举例来说，在一种情况下，若重叠区域为相邻两个像圆重叠形成(此时重叠区域形状为叶形)，则该重叠区域内的像素点的取值为相邻两个像圆内该像素点的对应点的取值的平均值。在另一种情况下，若重叠区域为相邻四个像圆重叠形成(此时重叠区域形状为凸边正方形)，则该重叠区域内的像素点的取值为相邻四个像圆内该像素点的对应点的取值的平均值。这种方法具有计算简便的优点，但当像圆内光照不均匀、或像圆边缘图像畸变较大、成像质量不佳时，重叠区域平均加权融合的效果将存在较大失真，导致最终成像质量较差。

发明内容

有鉴于此，本发明提供一种基于透镜阵列成像的图像处理方法、图像处理装置以及成像系统，用于解决现有技术中在子图像拼接成最终完整图像时出现失真，而导致成像质量不佳的问题。

本发明提供一种基于透镜阵列成像的图像处理方法，所述透镜阵列包括多个呈阵列排布的子透镜，其中，所述图像处理方法包括以下步骤：S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

本发明还提供一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：

距离矩阵建立模块，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

中间系数矩阵建立模块，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

图像拼接矩阵生成模块，用于将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

加权像圆获取模块，用于对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；

场景拼接图像生成模块，用于将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

本发明还提供一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，所述图像处理装置包括：图像处理器以及存储器；其中，所述图像处理器调用所述存储器中存储的一段程序指令以执行如前面所述的基于透镜阵列成像的图像处理方法。

本发明还提供一种成像系统，包括主透镜、透镜阵列和图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置用于处理所述主透镜、所述透镜阵列获取的场景图像，所述图像处理装置为前面所述的基于透镜阵列成像的图像处理装置。

本发明还提供一种计算机存储介质，包括与具有透镜阵列结合使用的计算机程序，所述透镜阵列包括呈阵列排布的子透镜，所述计算机程序可被图像处理器执行以完成以下步骤：S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

为达成上述目的，本发明提出的基于透镜阵列成像的图像处理方法、装置及成像系统，通过对透镜阵列所成初始图像的重叠区域进行处理，在子图像拼接成最终完整图像时不会出现失真，提高了透镜阵列的成像质量。

附图说明

图1为本发明实施方式一的基于透镜阵列成像的图像处理方法的流程示意图。

图2为图1中步骤S100的流程示意图。

图3为图1中步骤S200的流程示意图。

图4为图1中步骤S300的流程示意图。

图4(a)为图像拼接矩阵的图像化表达示意图。

图5为图1中步骤S400的流程示意图。

图5(a)为叠加矩阵的图像化表达示意图。

图5(b)为权重矩阵的图像化表达示意图。

图5(c)为左上角像圆初始图与其加权像圆图在图像化表达下的对比示意图。

图5(d)为中心处像圆初始图与其加权像圆图在图像化表达下的对比示意图。

图5(e)为右下角像圆初始图与其加权像圆图在图像化表达下的对比示意图。

图6为图1中步骤S500的流程示意图。

图6(a)为场景拼接图像的示意图。

图7为本发明实施方式二的基于透镜阵列成像的图像处理装置的结构示意图。

图8为本发明实施方式三的基于透镜阵列成像的图像处理装置的结构示意图。

图9为本发明实施方式四的成像系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

请参见图1，图1为本发明较佳实施方式的基于透镜阵列成像的图像处理方法的流程示意图。如图1所示，本发明较佳实施方式的基于透镜阵列成像的图像处理方法，其中，透镜阵列包括多个呈阵列排布的子透镜，这里的透镜阵列优选液晶透镜阵列，液晶透镜阵列中的各子透镜按照阵列的方式排布，各子透镜分别受电压驱动改变液晶分子偏向形成折射率梯度分布。该基于透镜阵列成像的图像处理方法主要包括以下步骤：

S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；这里的像圆为子透镜生成的初始图像。

S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；

S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

本发明提出的基于透镜阵列成像的图像处理方法通过对透镜阵列所成初始图像的重叠区域进行处理，在子图像拼接成最终完整图像时不会出现失真，提高了透镜阵列的成像质量。

上述预设的拼接间距可以通过以下方法获得：

S1设置所述子图像的像圆直径的初始值；

在灰度图像Ig中，为各子图像选择一个初始的直径b0，在本发明中，一幅灰度图像Ig内的所有子图像均使用同一直径，提取出每个子图像的像圆，即：

对于灰度图像Ig内的每个子图像，以子图像的中心位置为圆心、以b0为直径(b0≤e，其中e表示相邻两个子图像中心位置的间距)，提取出一个圆形区域(以下将这个圆形区域称为像圆)，该像圆将被用于后续的自适应图像拼接。

像圆的初始直径b0可以从光学仿真的结果中获得；另外，也可以根据经验选择初始直径b0，一般的，0.45*e≤b0≤0.85*e。

S2计算任意相邻两个像圆中心之间的位置间距；

根据像圆直径b0，确定拼接图像时相邻两个像圆的中心位置间距d0，间距d0与像圆直径b0满足下面的关系

S3依据所述位置间距，计算任意相邻两个像圆行中第一行像圆与第二行像圆之间的行拼接间距值，以及任意相邻两个像圆列中第一列像圆与第二列像圆列之间的列拼接间距值；具体来说，对于像图中的每两个相邻的像圆行、每两个相邻的像圆列，按照下面的方式计算其最佳拼接间距，其中，像圆行、像圆列的计算顺序可以打乱，但不会影响到最终结果：假设像图中的子图像有R行、C列，则上述行拼接间距值与上述列拼接间距值按以下步骤获得：

S31对于第1行像圆与第2行像圆(每一行像圆均包含有本行的C个像圆)，依以下步骤计算其最佳拼接间距

(a)当第1行像圆与第2行像圆的中心位置的上、下间距为d0时，计算每两个上下相邻的像圆的重叠区域；

(b)计算在第1行的C个像圆与第2行的C个像圆的所有重叠区域内，像素灰度值的标准差std(d₀)。这个标准差std(d₀)可以采用下面这个公式获得：

(c)按照一定的步长s改变第1行像圆与第2行像圆中心位置的上、下间距，例如，s＝1即代表每次将间距改变一个像素。依次计算当两行像圆中心位置的上、下间距d'：

d'＝{d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，在所有的上、下相邻的像圆的重叠区域内，像素灰度值的标准差std(d')，其中，k为整数，并且使得k*s<0.4d₀，一般可以选择使k*s<0.2d₀的k值与s值。

(d)比较当第1行像圆与第2行像圆中心位置的上、下间距为{d0,d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，对应的所有上、下相邻像圆的重叠区域内像素灰度值的标准差std，找出使标准差std最小的间距值，将这个使标准差std最小的间距值记为

S32对于第2行像圆与第3行像圆，计算其最佳拼接间距对于第3行像圆与第4行像圆，计算其最佳拼接间距对于第R-1行像圆与第R行像圆，计算其最佳拼接间距

S33对于第1列像圆与第2列像圆(每一列像圆均包含有本行的R个像圆)，依以下步骤计算其最佳拼接间距

(A)当第1列像圆与第2列像圆的中心位置的左、右间距为d0时，计算每两个左右相邻的像圆的重叠区域；

(B)计算第1列的R个像圆与第2列的R个像圆的所有重叠区域内，像素灰度值的标准差std(d₀)。这个标准差可以按以下公式计算：

(C)按照一定的步长s改变第1列像圆与第2列像圆中心位置的左、右间距，例如，s＝1即代表每次将间距改变一个像素。依次计算当两列像圆中心位置的左、右间距:

d″＝{d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+2s,d0+3s,…,d0+k*s}时，在所有的左、右相邻的像圆的重叠区域内，像素灰度值的标准差std(d″)。其中，k为整数，并且使得k*s<0.4d₀，一般可以选择使k*s<0.2d₀的k值与s值。

(D)比较当第1列像圆与第2列像圆中心位置的左、右间距为{d0,d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，对应的所有左、右相邻像圆的重叠区域内像素灰度值的标准差std，找出使标准差std最小的间距值，将这个使标准差std最小的间距值记为

S34对于第2列像圆与第3列像圆，计算其最佳拼接间距对于第3列像圆与第4列像圆，计算其最佳拼接间距对于第C-1列像圆与第C列像圆，计算其最佳拼接间距

S35将上面步骤S330中得到的R-1个行间最佳拼接间距(其中i＝1,2,3,...,R-1)及C-1个列间最佳拼接间距(其中j＝1,2,3,...,C-1)分别计算行拼接间距的平均值和列拼接间距的平均值。

S36判断上述平均值(包括行拼接间距的平均值和列拼接间距的平均值)的大小是否在预设范围内；这个预设范围依据实际需要设定。较佳地，这里的预设范围为：各平均值小于等于d₀+0.75*k*s、并且大于等于d₀-0.75*k*s，进入步骤S340。

若平均值大于d₀+0.75*k*s或小于d₀-0.75*k*s，则重新计算子图像的初始直径b0

将上式中计算得到的b0作为子图像的初始直径，重新执行步骤S31、S32、S33、S34和S35以及S36直至R-1个行间最佳拼接间距(其中i＝1,2,3,...,R-1)及C-1个列间最佳拼接间距(其中j＝1,2,3,...,C-1)各自的平均值小于等于d₀+0.75*k*s、并且大于等于d₀-0.75*k*s为止，进入下一步骤。

S4依据所述行拼接间距值与所述列拼接间距值，获得任意相邻两个子图像的像圆之间满足预设条件的拼接间距值，这个满足预设条件的拼接间距值就是预设的拼接间距。这里的预设条件依据产品性能由用户根据实际需要来设置。具体来说，对于R-1个行间最佳拼接间距(其中i＝1,2,3,...,R-1)及C-1个列间最佳拼接间距(其中j＝1,2,3,...,C-1)，计算这些行间、列间最佳拼接间距与平均值的差的绝对值，若这些绝对值中存在着大于0.25*k*s(预设条件)的，找出对应的最佳拼接间距，并将其修改成平均值。

较好地，这个预设的拼接间距选取最佳拼接间距值。

上述获取预设的拼接间距的方法不仅方法简单，而且易于找到最佳拼接间距值。

此外，在上述步骤S100之前还包括：获取各像圆位置信息步骤，依据各子透镜与相应像圆的对应关系，通过各子透镜的位置信息，获取相应的各像圆的位置信息。

请参见图2，图2为图1中步骤S100的流程示意图。如图2所示，在一个具体实施例中，所述步骤S100具体包括：

S110获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；每一子透镜都相应生成一像圆，每个像圆的圆心、半径可通过光学测量或者成像原理计算获得，在得出像圆的圆心和半径后，其外接四边形大小可通过简单的几何关系获得。

S120计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。每一像素都可以用平面坐标来定位，而像圆圆心也可通过现有的方法获得，因此，按照距离公式即可计算出像圆的外接四边形内的像素到像圆圆心的距离。

请参见图3，图3为图1中步骤S200的流程示意图。如图3所示，在一个具体实施例中，所述步骤S200具体包括：

S210判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

S220分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵。

在一个具体实施例中，，所述步骤S220具体包括：

S221构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

S222依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值m_ij＝f(d_ij)*δ_ij，其中d_ij表示各元素对应的像素距离像圆圆心的距离，δ_ij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

具体来说，利用函数f(x)＝y，针对每个距离矩阵D，生成一个中间系数矩阵M，中间系数矩阵M的大小(即行、列数)与距离矩阵D相同(亦即与像圆外接四边形相同)，中间系数矩阵M中每个元素的值m_ij＝f(d_ij)*δ_ij，其中，d_ij表示各元素对应的像素距离像圆圆心的距离，δ_ij是一个取值为0或1的函数，当该元素对应的点位于像圆内部时(即d_ij≤r时)，δ_ij取值为1，当该元素对应的点位于像圆外部时(即时)，δ_ij取值为0。因为f(x)是个单调递减函数，所以在中间系数矩阵M中，距离像圆圆心越远的点，其取值越小，且M中所有位于像圆内部的元素的取值都为正数，M中所有位于像圆外部的元素的取值均为0。

在一个具体实施例中，所述单调递减函数f(x)＝y可以是以下几种中的任意一种：

(1)f(x)＝r-x+ε，其中r为像圆半径，ε为接近0的正数；

(2)f(x)＝exp(-x/σ)，其中σ为正数，σ取值为0.15*r，以便当x接近r时，f(x)接近于0；

(3)f(x)＝exp(-(x/σ)^m)，其中σ、m均为正数，m小于1；

(4)f(x)＝2/(1+exp(k*x))，其中k为正数，k取值为10/r，以便当x接近r时，f(x)接近于0。

以上四种单调递减函数f(x)均可利用来生成中间系数矩阵，其中上述(1)计算简单，上述(3)和(4)计算相对复杂，但构筑的中间系数矩阵中各元素值较为准确。实际中，可以根据对图像成像质量的需要来选择。

S230依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。

请参见图4和4(a)，图4为图1中步骤S300的流程示意图，图4(a)为图像拼接矩阵的图像化表达示意图。如图4所示，在一个具体实施例中，所述步骤S300具体包括：

S310将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；

S320获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；

S330生成所述图像拼接矩阵。具体来说，将所有中间系数矩阵M按照像圆拼接时的最佳拼接间距在图像拼接矩阵U内依次摆放、叠加；在相邻的中间系数矩阵M的重叠区域内，元素的取值为相邻的中间系数矩阵M的对应位置处的元素值的叠加；为了避免在下文的步骤(6)中出现除以0的错误，可以将图像拼接矩阵U中等于0的元素替换为一个非零的数。

如图4(a)所示，每个像圆与相邻像圆重叠的部分均呈现叶形轮廓。在像圆中心处、不与其他像圆重叠的区域内，像素的取值即为对应的中间系数矩阵在该位置处的元素的值，随着其与像圆圆心距离的增大而减小；在像圆外侧、与其他像圆重叠的区域内，像素的取值即为相邻的中间系数矩阵的对应位置处的元素值的叠加，根据所选择的单调递减函数或常值函数f(x)的不同，重叠区域内像素取值的变化会有所不同。

请参见图5、5(a)、图5(b)、图5(c)、图5(d)、图5(e)，图5为图1中步骤S400的流程示意图，图5(a)为叠加矩阵的图像化表达示意图，图5(b)为权重矩阵的图像化表达示意图，图5(c)为左上角像圆初始图与其加权像圆图在图像化表达下的对比示意图，图5(d)为中心处像圆初始图与其加权像圆图在图像化表达下的对比示意图，图5(e)为右下角像圆初始图与其加权像圆图在图像化表达下的对比示意图。如图5所示，在一个具体实施例中，所述步骤S400具体包括：

S410对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；具体地，针对每个像圆subI，从大矩阵U中，取出位于该像圆摆放位置处的子块，该子块的大小(即行、列数)与该像圆外接四边形相同(亦即与距离矩阵D及中间系数矩阵M相同)，将这个从大矩阵U中取出的子块记为该像圆的叠加矩阵V。

S420依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；具体地，针对每个像圆subI，计算权重矩阵W，权重矩阵W的大小(即行、列数)与像圆外接四边形相同(亦即与距离矩阵D及中间系数矩阵M相同)，权重矩阵W中每个元素的值w_ij＝m_ij/v_ij，其中v_ij为该像圆的叠加矩阵V中该元素的值。

S430获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。具体地说，针对每个像圆subI，将其与其对应的权重矩阵W做逐元素的乘法，得到加权像圆subI’，即subI_ij’＝subI_ij*w_ij。

在图5(a)中，从左至右，分别为左上角、中心处、右下角像圆的叠加矩阵，其分别一一对应图4(a)图像拼接矩阵中的左上角、中心处、右下角的像圆所在的外接矩形区域。

在图5(b)中，从左至右，分别为左上角、中心处、右下角像圆的权重矩阵。对于每一个像圆的权重矩阵，在像圆中心处、不与其他像圆重叠的区域内，每个像素的权重取值为1；在像圆外侧、与其他像圆重叠的区域内，每个像素的权重随着该像素与像圆圆心距离的增大而减小。

左上角像圆的右半部分、下半部分与相邻像圆重叠，因此其右半部分、下半部分权重值随着像素与像圆圆心距离增大而递减，其余(没有与相邻像圆重叠的)部分权重值为1；

中心处像圆的左半部分、右半部分、上半部分、下半部分与相邻像圆重叠，因此其左半部分、右半部分、上半部分、下半部分权重值随着像素与像圆圆心距离增大而递减，其余(没有与相邻像圆重叠的)部分权重值为1；

右下角像圆的左半部分、上半部分与相邻像圆重叠，因此其左半部分、上半部分权重值随着像素与像圆圆心距离增大而递减，其余(没有与相邻像圆重叠的)部分权重值为1；

在图5(c、d、e)中，左边为像圆的初始图(初始像圆)，右边为加权像圆，右边的加权像圆为初始像圆与权重矩阵逐元素的乘积。对于权重值为1的像素，其在加权像圆中的取值即为初始像圆中的取值；对于权重值小于1的像素，其在加权像圆中的取值小于初始像圆中的取值。从图中可以明显看出，加权像圆由于乘以权重系数后，灰度有所下降，然而这更真实地反映出拼接前像圆的情况。

请参见图6和6(a)，图6为图1中步骤S500的流程示意图，图6(a)为场景拼接图像的示意图。如图6所示，在一个具体实施例中，所述步骤S500具体包括：

S510将所述加权像圆按照所述预设的拼接间距依次排列；

S520在相邻两个所述加权像圆的重叠区域内，各像素点的取值为所述像素点在相邻两个所述加权像圆内的对应处取值叠加后的和值；

S530生成所述场景拼接图像。具体来说，将加权像圆subI’按照最佳拼接间距，依次摆放、叠加成为场景拼接图像；在相邻的加权像圆的重叠区域内，像素点的取值为相邻的加权像圆subI’内该像素点的对应点的取值的总和。

从图6(a)的场景拼接图像中可以看出，相邻像圆的重叠区域内没有任何图像失真，本发明中的方法取得了非常好的成像质量。

实施方式二

请参见图7，图7为本发明实施方式二的基于透镜阵列成像的图像处理装置的结构示意图。如图7所示，一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，,所述图像处理装置包括：

距离矩阵建立模块100，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

中间系数矩阵建立模块200，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

图像拼接矩阵生成模块300，用于将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

加权像圆获取模块400，用于对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；

场景拼接图像生成模块500，用于将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

在一个具体实施例中，所述距离矩阵建立模块100具体包括：

像圆获取单元，用于获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；

计算单元，用于计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。

在一个具体实施例中，所述中间系数矩阵建立模块200具体包括：

判断单元，用于判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

中间系数矩阵建立单元，用于分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵。

在一个具体实施例中，所述中间系数矩阵建立单元具体包括：

函数构造子模块，用于构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

矩阵元素值确定子模块，用于依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值m_ij＝f(d_ij)*δ_ij，其中d_ij表示各元素对应的像素距离像圆圆心的距离，δ_ij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

中间系数矩阵生成子模块，用于依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。

在一个具体实施例中，所述图像拼接矩阵生成模块300具体包括：

矩阵排列单元，用于将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；

重叠区域叠加值获取单元，用于获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；

拼接矩阵生成单元，用于生成所述图像拼接矩阵。

在一个具体实施例中，所述加权像圆获取模块400具体包括：

叠加矩阵建立单元，用于对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；

权重值获取单元，用于依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；

加权像圆生成单元，用于获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。

实施方式三

请参见图8，图8为本发明实施方式三的基于透镜阵列成像的图像处理装置的结构示意图。如图8所示，本发明的基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：图像处理器1000以及存储器2000；其中，所述图像处理器1000调用所述存储器2000中存储的一段程序指令以至少执行以下基于透镜阵列成像的图像处理方法：

S100建立距离矩阵步骤：对各所述子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；

S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

具体地，所述步骤S100具体包括：

S110获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；

S120计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。

具体地，所述步骤S200进一步包括：

S210判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

S220分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵。

更进一步地，所述步骤S220具体包括：

S221构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

S222依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值m_ij＝f(d_ij)*δ_ij，其中d_ij表示各元素对应的像素距离像圆圆心的距离，δ_ij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

S230依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。

进一步地，所述步骤S300具体包括：

S310将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；

S320获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；

S330生成所述图像拼接矩阵。

进一步地，所述步骤S400具体包括：

S410对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；

S420依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；

S430获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。

进一步地，所述步骤S500具体包括：

S510将所述加权像圆按照所述预设的拼接间距依次排列；

S520在相邻两个所述加权像圆的重叠区域内，各像素点的取值为所述像素点在相邻两个所述加权像圆内的对应处取值叠加后的和值；

S530生成所述场景拼接图像。

更进一步地，所述单调递减函数f(x)＝y可以是以下几种中的任意一种：

(1)f(x)＝r-x+ε，其中r为像圆半径，ε为接近0的正数；

(2)f(x)＝exp(-x/σ)，其中σ为正数，σ取值为0.15*r，以便当x接近r时，f(x)接近于0；

(3)f(x)＝exp(-(x/σ)^m)，其中σ、m均为正数，m小于1；

(4)f(x)＝2/(1+exp(k*x))，其中k为正数，k取值为10/r，以便当x接近r时，f(x)接近于0。

实施方式四

请参见图9，图9为本发明实施方式四的成像系统的结构示意图。如图9所示，一种成像系统，包括主透镜10、透镜阵列20、图像传感器30和图像处理装置40，所述透镜阵列20包括多个呈阵列排布的子透镜，所述图像处理装置40用于处理所述主透镜10、所述透镜阵列20获取的场景图像，所述图像处理装置40至少包括：

距离矩阵建立模块，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

中间系数矩阵建立模块，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

图像拼接矩阵生成模块，用于将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

加权像圆获取模块，用于对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；

场景拼接图像生成模块，用于将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

本发明的成像系统所包括的图像处理装置40与实施方式二和实施方式三中的图像处理装置相同，详细请参见实施方式二和实施方式三的相关描述，在此不再赘述。

本发明的成像系统可应用于胶囊型医疗设备、航空拍摄设备、智能汽车、机器人、智能穿戴设备、监视设备、医学显微镜、微创医疗设备、AR/VR设备以及带摄像头的导弹等电子设备中。

本发明还提供一种计算机存储介质，包括与具有透镜阵列结合使用的计算机程序，所述透镜阵列包括呈阵列排布的子透镜，所述计算机程序可被图像处理器执行以完成以下步骤：

S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；

S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (13)

1.一种基于透镜阵列成像的图像处理方法，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理方法包括以下步骤：

S100建立距离矩阵步骤：对各所述子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；

S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像；

所述步骤S200具体包括：

S210判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

S220分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵；

所述步骤S220具体包括；

S221构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，0≤x≤*r，y＞0，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

S222依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值mij＝f(dij)*δij，其中，dij表示各元素对应的像素距离像圆圆心的距离，δij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

S230依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。

2.如权利要求1所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S100具体包括：

S110获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；

S120计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。

3.如权利要求1所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S300具体包括：

S310将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；

S320获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；

S330生成所述图像拼接矩阵。

4.如权利要求3所述的基于透镜阵列成像的图像处理方法，其特征在于，

所述步骤S400具体包括：

S410对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；

S420依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；

S430获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。

5.如权利要求4所述的基于透镜阵列成像的图像处理方法，其特征在于，所述步骤S500具体包括：

S510将所述加权像圆按照所述预设的拼接间距依次排列；

S520在相邻两个所述加权像圆的重叠区域内，各像素点的取值为所述像素点在相邻两个所述加权像圆内的对应处取值叠加后的和值；

S530生成所述场景拼接图像。

6.如权利要求1所述的基于透镜阵列成像的图像处理方法，其特征在于，所述单调递减函数f(x)＝y可以是以下几种中的任意一种：

(1)f(x)＝r-x+ε，其中r为像圆半径，ε为接近0的正数；

(2)f(x)＝exp(-x/σ)，其中σ为正数，σ取值为0.15*r；

(3)f(x)＝exp(-(x/σ)^m)，其中σ、m均为正数，m小于1；

(4)f(x)＝2/(1+exp(k*x))，其中k为正数，k取值为10/r。

7.一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：

距离矩阵建立模块，用于对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

中间系数矩阵建立模块，用于基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

图像拼接矩阵生成模块，用于将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

加权像圆获取模块，用于对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的子块之间的关系获取加权像圆；

场景拼接图像生成模块，用于将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像；

所述中间系数矩阵建立模块具体包括：

判断单元，用于判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

中间系数矩阵建立单元，用于分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵；

所述中间系数矩阵建立单元具体包括：

函数构造子模块，用于构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，0≤x≤*r，y＞0，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

矩阵元素值确定子模块，用于依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值m_ij＝f(d_ij)*δ_ij，其中d_ij表示各元素对应的像素距离像圆圆心的距离，δ_ij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

中间系数矩阵生成子模块，用于依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。

8.如权利要求7所述的基于透镜阵列成像的图像处理装置，其特征在于，所述距离矩阵建立模块具体包括：

像圆获取单元，用于获取各子透镜生成的像圆，包括各像圆的圆心、半径和各像圆的外接四边形的大小；

计算单元，用于计算所述外接四边形内各像素至所述像圆圆心的距离作为所述距离矩阵的各对应元素的值。

9.如权利要求7所述的基于透镜阵列成像的图像处理装置，其特征在于，所述图像拼接矩阵生成模块具体包括：

矩阵排列单元，用于将全部中间系数矩阵按照各像圆之间的预设拼接间距依次排列；

重叠区域叠加值获取单元，用于获取相邻中间系数矩阵的重叠区域，所述重叠区域内的元素的取值为所述相邻两个中间系数矩阵的各自对应位置处的元素值叠加后的总值；

拼接矩阵生成单元，用于生成所述图像拼接矩阵。

10.如权利要求9所述的基于透镜阵列成像的图像处理装置，其特征在于，所述加权像圆获取模块具体包括：

叠加矩阵建立单元，用于对每一像圆，从所述图像拼接矩阵中取出对应所述像圆的子块，记为所述像圆的叠加矩阵；

权重值获取单元，用于依据各所述中间系数矩阵中各元素的值与相应所述叠加矩阵中对应元素的值之间的比值获取生成的权重矩阵中各元素的权重值；

加权像圆生成单元，用于获取各所述像圆中的各元素值与对应的权重矩阵中各对应元素的权重值的乘积，之后生成所述加权像圆。

11.一种基于透镜阵列成像的图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置包括：图像处理器以及存储器；其中，

所述图像处理器调用所述存储器中存储的一段程序指令以执行如权利要求1至6任一项所述的基于透镜阵列成像的图像处理方法。

12.一种成像系统，包括主透镜、透镜阵列、图像传感器和图像处理装置，所述透镜阵列包括多个呈阵列排布的子透镜，其特征在于，所述图像处理装置用于处理所述主透镜、所述透镜阵列获取的场景图像，所述图像处理装置为权利要求7至11任一项所述的基于透镜阵列成像的图像处理装置。

13.一种计算机存储介质，其特征在于，包括与具有透镜阵列结合使用的计算机程序，所述透镜阵列包括呈阵列排布的子透镜，所述计算机程序可被图像处理器执行以完成以下步骤：

S100建立距离矩阵步骤：对各子透镜生成的像圆，每一所述距离矩阵的元素集合与相应每一所述像圆的外接四边形大小相同,所述距离矩阵内的各元素的值为该元素对应的像素至所述像圆圆心的距离；

S200基于所述像圆的所述距离矩阵,建立一个对各元素赋予权重系数的中间系数矩阵，每一像圆的所述距离矩阵对应一中间系数矩阵；

S300将各像圆相应的所述中间系数矩阵按照各像圆之间预设的拼接间距依次排列和叠加形成多个呈阵列排列的子块后,生成图像拼接矩阵，所述图像拼接矩阵中的每一子块对应一像圆；

S400对每一像圆，利用所述像圆所对应的中间系数矩阵中各元素的值与从所述图像拼接矩阵中取出对应各像圆位置的所述子块之间的关系获取加权像圆；

S500将各所述加权像圆按照所述预设的拼接间距,依次排列、叠加生成场景拼接图像；

所述步骤S200具体包括：

S210判断所述距离矩阵中各元素对应的像素位于所在像圆内还是所在像圆外；

S220分别对对应所述像圆外像素的元素赋值和所述像圆内像素的元素赋予权重值，建立所述中间系数矩阵；

所述步骤S220具体包括，

S221构造一个单调递减函数f(x)＝y或常值函数f(x)＝c，其中，0≤x≤*r，y＞0，c为大于0的恒定常数，r为所述像圆半径，所述单调递减函数表征各元素对应的像素与对应像圆圆心距离x与该元素的权重值y之间的关系，x越小，表明距离对应像圆圆心越近，则权重值y越大；

S222依据所述单调递减函数f(x)＝y或常值函数f(x)＝c，确定所述中间系数矩阵的各元素值mij＝f(dij)*δij，其中，dij表示各元素对应的像素距离像圆圆心的距离，δij为一个符号函数，用于表征各元素对应像素位于对应像圆内还是像圆外，在像圆外取值为0，在像圆内取值为1；

S230依次排列对应所述距离矩阵的中间系数矩阵的各元素值，生成所述中间系数矩阵。