CN106454116B - 自动全焦成像方法及装置 - Google Patents

自动全焦成像方法及装置 Download PDF

Info

Publication number
CN106454116B
CN106454116B CN201611028849.5A CN201611028849A CN106454116B CN 106454116 B CN106454116 B CN 106454116B CN 201611028849 A CN201611028849 A CN 201611028849A CN 106454116 B CN106454116 B CN 106454116B
Authority
CN
China
Prior art keywords
focusing
subgraph
image
lenticule unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611028849.5A
Other languages
English (en)
Other versions
CN106454116A (zh
Inventor
李其昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Weijing Jingtai Technology Co Ltd
Original Assignee
Chengdu Weijing Jingtai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Weijing Jingtai Technology Co Ltd filed Critical Chengdu Weijing Jingtai Technology Co Ltd
Priority to CN201611028849.5A priority Critical patent/CN106454116B/zh
Publication of CN106454116A publication Critical patent/CN106454116A/zh
Application granted granted Critical
Publication of CN106454116B publication Critical patent/CN106454116B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种自动全焦成像方法及装置。该自动全焦成像方法包括：S01通过一微透镜阵列后获取一场景的深度值分布图，其中，该微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应该深度值分布图的一个子图像；S02获取每一微透镜单元对应子图像的位置信息；S03计算每一微透镜单元对应子图像的深度均值；S04利用各微透镜单元的深度均值，获取相应微透镜单元对该场景的感兴趣区域实现对焦的驱动电压；S05依据各微透镜单元对该场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。本发明的自动全焦成像方法及装置，具有全焦成像实现简单、成像质量好的有益效果。

Description

自动全焦成像方法及装置
技术领域
本发明涉及光学技术领域，尤其涉及一种自动全焦成像方法及装置。
背景技术
目前，在工业检测、安检、高空侦测等多种领域常常因为成像系统的景深不够大，以致影响了成像系统的广泛应用。现有技术中有各种扩展景深形成全焦点图像的方法。
对比文件1(CN103533232A)公开一种全焦点图像的图像处理装置及图像处理方法，该图像处理方法主要包括：图像获取步骤，获取在多个对焦位置上拍摄的多个摄像图像的数据；顺序决定步骤，针对多个摄像图像的数据，将与对焦距离的远近的顺序不同的顺序决定为合成的顺序；以及合成步骤，以由所述顺序决定步骤的处理决定的顺序来对所述多个摄像图像的数据进行合成，从而生成全焦点图像的数据。上述生成全焦点图像的数据主要是用图像处理的方法来实现，不仅要获取多个对焦位置上的多个摄像图像数据，而且还要对每个摄像图像的数据进行排序。图像处理数据量大，要分时获得多个对焦位置上拍摄的多个摄像图像的数据，耗时较长。
此外，对比文件2(CN102472622B)公开一种距离推定装置以及距离推定方法，其指出目前有五种方式获得全焦点图像的方法，分别如下：
第一方式是称为FocalStack的方式，该方式是指，拍摄合焦位置互不相同的多张图像，并从各个图像分别提取有可能合焦的区域来合成。据此，获得EDOF图像(景深扩展图像)即全焦点图像。
第二方式是指，通过插入称为相位板的光学元件，使深度方向的模糊均匀，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为WavefrontCoding(波前编码)。
第三方式是指，在曝光时间中，通过使聚焦透镜或摄像元件变动，在深度方向卷积一律合焦的图像(即，与以各个深度使模糊均匀同义)，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得EDOF图像即全焦点图像。这称为FlexibleDOF。
第四方式是指，虽然与FocalStack相似的方法，但是，不拍摄多张图像，而利用透镜的轴向色差，根据一张颜色图像，推定深度，或者，检测图像的清晰度，通过图像处理，获得整体清晰的图像，以作为全焦点图像。
第五方式是指，利用多焦点透镜，使深度方向的模糊均匀，根据预先通过测量或模拟而获得的模糊模式，进行图像复原处理，从而获得全焦点图像。
然而上述五种方法均需要复杂的后续图像处理，不仅复杂费时，而且在图像处理后生成的全焦点图像的图像边缘不清晰，成像质量不佳。
发明内容
本发明提供一种自动全焦成像方法及装置，用以解决现有技术中生成全焦点图像时采用图像处理复杂费时，图像边缘不清晰，导致的成像质量不佳的问题。
为达成上述目的，本发明提供一种自动全焦成像方法，包括：
S01通过一微透镜阵列后获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
S02获取每一微透镜单元对应子图像的位置信息；
S03计算每一微透镜单元对应子图像的深度均值；
S04利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
S05依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
较佳地，所述自动全焦成像方法所述步骤S05还包括以下步骤：
S051依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
S052依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
较佳地，所述步骤S01具体包括以下子步骤：
S011通过前述微透镜阵列在至少第一光焦度和第二光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同，其中，所述第一光焦度不同于所述第二光焦度；
S012分别获取每幅图像的相对散焦度值或聚焦度值；
S013通过DFD算法或DFF算法获取所述场景的相对深度值分布图。
较佳地，所述第一光焦度为所述微透镜单元处于正透镜时的最大正光焦度；所述第二光焦度为所述微透镜单元处于负透镜时的最大负光焦度。
较佳地，所述步骤S052具体包括以下步骤：
S0521依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
S0522依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
S0523按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
较佳地，所述步骤S02主要包括以下步骤：
S021获取一通过所述透镜阵列拍摄的参照图像中对应各子透镜的参照子图像；
S022获取对应各子透镜的参照子图像的位置信息；
S023将各参照子图像的位置信息转换为对应各子图像的位置信息。
较佳地，所述步骤S04主要包括：
S041利用各微透镜单元的深度均值获取对应的物距值；
S042依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
S043依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
本发明还提供一种自动全焦成像装置，包括：
深度值分布图获取单元，用于通过一微透镜阵列获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
位置信息获取单元，用于获取每一微透镜单元对应子图像的位置信息；
深度均值计算单元，用于计算每一微透镜单元对应子图像的深度均值；
驱动电压获取单元，用于利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
全焦图像生成单元，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
较佳地，所述全焦图像生成单元包括：
驱动模块，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
全焦图像生成模块，用于依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
较佳地，所述全焦图像生成模块包括：
拼接间距值获取子单元，用于依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
像圆提取子单元，用于依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
全焦图像生成子单元，用于按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
较佳地，所述驱动电压获取单元主要包括：
物距值获取模块，利用各微透镜单元的深度均值获取对应的物距值；
光焦度值获取模块，依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
驱动电压模块，依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
本发明又提供一种自动全焦成像装置，包括：
主透镜单元，用于拍摄一场景并成像；
微透镜阵列，包括多个可变焦且呈阵列分布的微透镜单元；
图像传感器，用于将经过所述主透镜单元与所述微透镜阵列后的光学图像信号转换为电信号；
存储器，用于存储一段程序指令；
图像处理单元，用于控制所述微透镜阵列、所述图像传感器与所述存储器工作，所述图像处理单元调用所述存储器中存储的程序指令用于实现前面所述的自动全焦成像方法。
本发明的自动全焦成像方法及装置，通过对透镜阵列中各微透镜单元进行单独控制，以光学控制的方式来实现全焦点成像，避免了复杂的图像处理，并受到图像边缘模糊影响成像质量的问题，具有全焦成像实现简单、成像质量好的有益效果。
附图说明
图1为本发明较佳实施方式的自动全焦成像方法的流程示意图。
图2为本发明一实施方式的自动全焦成像装置的结构示意图。
图3为本发明另一实施方式的自动全焦成像装置的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。需要说明的是，如果不冲突，本发明实施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
请参见图1，图1为本发明较佳实施方式的自动全焦成像方法的流程示意图。如图1所示，本发明提供一种自动全焦成像方法，包括：
S01通过一微透镜阵列后获取一场景的相对深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
S02获取每一微透镜单元对应子图像的位置信息；
S03计算每一微透镜单元对应子图像的深度均值；
S04利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
S05依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
本发明的自动全焦成像方法，通过对透镜阵列中各微透镜单元进行单独控制，以光学控制的方式来实现全焦点成像，避免了复杂的图像处理，并受到图像边缘模糊影响成像质量的问题，具有全焦成像实现简单、成像质量好的有益效果。
在一个较佳实施例中，所述步骤S01的场景的相对深度值分布图具体包括以下子步骤：
S011通过前述微透镜阵列在至少第一光焦度和第二光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同，其中，所述第一光焦度不同于所述第二光焦度；较佳地，所述第一光焦度为所述微透镜单元处于正透镜时的最大正光焦度；所述第二光焦度为所述微透镜单元处于负透镜时的最大负光焦度。
在这里以液晶微透镜阵列为例，主要是分成至少两个时刻，每一时刻分别对液晶微透镜阵列施加驱动电压，在驱动电压所对应的光焦度下获取同一场景的图像，而且由于液晶微透镜阵列是采用电控制实现微透镜单元的梯度折射率变化，进而实现焦距变化，因而像距是不变的，可以保证各幅图像的放大率不会发生变化。当然这里的至少两幅图像是指最少采集到两幅图像就可实现场景相对深度的测量，当然要保证场景的相对深度分布的准确性，可以采集3幅及以上的图像，此时只需用多个时刻施加不同的驱动电压至液晶微透镜阵列，使其在相应的多个光焦度下获取相应的多幅图像。
S012分别获取每幅图像的相对散焦度值或聚焦度值；这里可以依据弥散圆的计算公式来获取每幅图像的相对散焦度值或聚焦度值。
公式如下：
R＝qD/2＝s*D*[1/f–1/u–1/s]/2
式中，R为弥散圆半径，D是含有该液晶微透镜阵列的透镜系统的光阑，s表示像距，f表示焦距，u表示物距。当R接近或等于0时，表示汇聚为一个点，此时可认为处于完全聚焦状态。
S013通过DFD算法或DFF算法获取所述场景的相对深度值分布图。这里的DFD算法是指离焦深度法(Depth from Defocus，简称DFD)，是图像处理中一种常见的测量场景深度的算法。DFF算法是指聚焦深度法(Depth from focus，简称DFF)是图像处理中另一种常见的测量场景深度的算法。
利用微透镜阵列并结合DFD或DFF算法测量场景的相对深度分布，与传统的透镜系统中使透镜进行机械运动测量场景的相对深度分布相比，不用改变同一场景图像的放大率，简化了图像处理，能较快速有效地测量场景的相对深度分布。
采用所述DFD算法获取场景的相对深度分布值主要包括以下步骤：
S111在T1时刻，以第一驱动电压驱动一微透镜阵列在第一光焦度获取第一图像；
S112获取所述第一图像的第一相对散焦度；也是通过弥散圆公式来获取第一相对散焦度。
S113在T2时刻，以第二驱动电压驱动所述微透镜阵列在第二光焦度获取第二图像，其中所述第一驱动电压不同于所述第二驱动电压；
S114获取所述第二图像的第二相对散焦度；
S115依据所述第一相对散焦度和所述第二相对散焦度通过DFD算法获取场景的相对深度分布。这里只需第一图像和第二图像两幅图像即可获取场景的相对深度分布，简化了图像处理的复杂度。
在一个较佳实施例中，在步骤S111之前还包括：
S110像距获取步骤，获取所述微透镜阵列的像距。要获取到像距，控制微透镜阵列处于非对焦状态，让透镜系统中除微透镜阵列外的其它光学透镜(如玻璃透镜或树脂透镜)(无微透镜阵列时，相当于现有摄像装置的镜头部分)处于一光焦度(optical power)下，获得其物距，然后利用高斯成像公式:1/f＝1/u+1/v,因光焦度与焦距之间是倒数关系，因而可以得出像距v的大小。由于包括微透镜阵列的透镜系统在工作时无需进行机械位移，因此一旦获取像距v后，其一直保持不变。当然还可以采用其它方式求出像距v。
在一个较佳实施例中，在步骤S115之后还包括以下步骤：
S116依据所述像距、所述场景的相对深度分布与所述微透镜阵列的对焦面深度分布之间的映射关系以及高斯成像公式，获取所述场景的绝对深度。
以下该微透镜阵列以液晶微透镜阵列为例，控制在两个时刻分别对液晶透镜施加不同的驱动电压，使得透镜系统的焦距发生变化，假设两个时刻透镜系统的焦距分别为f1和f2，相对应的对焦平面深度(即液晶微透镜阵列到场景中的对焦平面的距离)分别为u1和u2，像距v为固定值。我们可根据两幅图像的相对散焦度计算出场景的相对深度值d～(其原理在下文详细叙述)。该场景的相对深度值为一标量，其一个可行的表达式为其中α为比例系数，依据透镜系统特性设定。当液晶微透镜阵列驱动电压已知时，透镜系统对焦平面的深度可以通过标定方法事先获取，即获取液晶微透镜阵列的驱动电压与对焦平面深度的对应关系(或者液晶微透镜阵列驱动电压与对焦平面深度的标定关系)。
在一个较佳实施例中，所述步骤S02主要包括以下步骤：
S021获取一通过所述微透镜阵列拍摄的参照图像中对应各微透镜单元的参照子图像，每一参照子图像与各微透镜单元一一对应；具体地，控制所述微透镜阵列对光源成像，获取参照图像(或称作光照模型)；上述参照图像用于校正通过透镜阵列实际拍摄场景图像时各子图像内亮度不均的问题。在一个具体实施例中，获取参照图像的方法如下：
S2111控制微透镜阵列对单一均匀发光光源成像，得到一张仅有光源的光照图像(可以是均匀发光板)，记作I0，光照图像I0的分辨率与微透镜阵列的分辨率相同，假设微透镜阵列的分辨率为横向一行n个像素，竖向一列m个像素，即分辨率为n*m个像素，则光照图像I0的分辨率也是n*m个像素，其被用于计算该微透镜阵列的参考图像(或光照模型)。
在通过该微透镜阵列成像时，需注意控制曝光时间在合适的范围内，曝光不足或曝光过度都会导致计算得到的光照模型失真。
若获取到的光照图像I0不是灰度图像(即黑白图像),如为RGB彩色图像，则需将其转为灰度图像。
光照图像I0中存在的噪声会对后续步骤造成干扰。为了达到降噪的目的，在拍摄光照图像的过程中，可在相同的拍摄条件下(相同的光源、相同的物距、相同的曝光时间等)，对同一光源重复拍摄若干张图像。一般的，需要5张或以上数量，这些图像的平均值即为一幅低噪的光照图像I0，用这幅低噪的光照图像I0来获得该微透镜阵列的光照模型(参考图像)。
S2112扫描光照图像I0内所有像素的灰度值，找出光照图像I0中的最大灰度值，记为maxGrayscale。
S2113计算该透镜阵列的光照模型Im，光照模型Im是一张最大灰度值为1的灰度图像，其分辨率与透镜阵列的分辨率相同，光照模型Im中第i行、第j列的像素灰度值为光照图像I0中同一位置的像素灰度值除以最大灰度值maxGrayscale，即：
由于微透镜阵列定型后，其光照模型就被固定，所以此步骤仅需要在透镜阵列定型时进行一次，可以是成像设备在出厂前进行，也可以是用户在实际拍摄场景之前进行，主要目的是为获得微透镜阵列中各微透镜单元对光源成像方面表现的光学特性差异。从所获取的仅有单一均匀发光光源的图像中提取出微透镜阵列的参考图像(光照模型)后，将参考图像(光照模型)存入成像设备的存储器中。在实际拍摄场景图像时，直接从存储器中读取微透镜阵列的光照模型(参考图像)的相关数据来对原始图像进行图像处理。
S022获取对应各微透镜单元的参照子图像的位置信息；这里，参照子图像的位置信息，可以是获得各参照子图像的中心位置信息，也可是获得各参照子图像的边缘位置信息。较佳方式是获得各参照子图像的中心位置信息，子图像的中心位置呈现有序的、等间隔的阵列排布形式(如呈方形或矩形)。要定位各参照子图像的中心位置，可以有较多算法来获得，例如采用K-means算法(K均值聚类算法)、Blob分析算法，也可以直接用已知位置信息的模板来获得各参照子图像的中心位置。在一个透镜阵列成像中定位子图像中心位置的方法详细描述如下：
S221计算上述参照图像(因仅包括光源，也称作空白图像)在x方向(即水平方向)上的投影，得到一个投影数列：
Xprof＝{x1，x2，x3，…，xn}，
其长度n等于空白图像的水平宽度。
具体来说，对空白图像中每一竖直的像素列，对该像素列中的每一个像素的灰度值作累加求和，其总和作为投影数列中对应项的值。例如，计算空白图像中第一列像素灰度值的总和，作为投影数列第一项的值，计算空白图像中第二列像素灰度值的总和，作为投影数列第二项的值，以此类推，直至计算完空白图像所有的像素列。
S222使用Kmeans方法(即K均值聚类算法)对投影数列Xprof进行聚类，初步估计子图像中心位置的横轴x的坐标值Xappr。
Kmeans方法聚类的类别数目K设置为空白图像中子图像的列数c(亦即：空白图像中一行子图像所包含的子图像个数)，聚类得到的K个聚类中心{C1，C2，C3，…，CK}即为对子图像中心位置的x坐标值Xappr的初步估计，子图像共c列，故一共有c个不同的x坐标值，此次聚类K＝c。
Kmeans均值聚类算法的具体过程表述如下：
S2221设置聚类算法的收敛阈值T及K个聚类中心{C1，C2，C3，...，CK}的初始值。设置聚类算法的停止条件：最大迭代次数达到maxIter次或者在阈值T下聚类算法已经收敛。设置迭代计数器为1。
K个聚类中心的初始值可以有多种设置方式，例如下述的a、b、c三种方式中任意一种都是可行的：
a、从1～n中任意选取K个互不相同的数；
b、考虑到子图像与相应子透镜的排布形式一致，在空白图像内以有序的、等间隔的方形\矩形阵列形式排布，可以将K个聚类中心的初始值直接设置为等间隔的数列：
C、如果从光学仿真中获得了子图像的位置，也可以将这些子图像的x坐标设为K个聚类中心的初始值。
S2222对投影数列Xprof＝{x1，x2，x3，…，xn}，计算每一项的聚类类别标号，得到数列Xprof的聚类类别标号序列Xidx＝{idx1，idx2，idx3，…，idxn}，具体如下：
对于数列Xprof＝{x1，x2，x3，…，xn}中的每一项xi，计算其下标i到K个聚类中心的距离，并找出与它距离最近的那个聚类中心，该聚类中心的序号就是xi对应的聚类类别标号idxi。例如(|C1-1|表示对C1-1取绝对值)。
对于x1，其下标1到K个聚类中心的距离依次是|C1-1|，|C2-1|，|C3-1|，...，|CK-1|，假设这K个距离值中最小的是则x1对应的聚类类别标号idx1是a1；
对于x2，其下标2到K个聚类中心的距离依次是|C1-2|，|C2-2|，|C3-2|，…，|CK-2|，假设这K个距离值中最小的是则x2对应的聚类类别标号idx2是a2；
……
对于xn，其下标n到K个聚类中心的距离依次是|C1-n|，|C2-n|，|C3-n|，…，|CK-n|假设这K个距离值中最小的是则xn对应的聚类类别标号idxn是an；
S2223逐一计算新的K个聚类中心{C′1，C′２，C′３，…，C′K}的值，计算方式如下：
计算新的C′j：找出聚类类别标号序列Xidx＝{idx1，idx2，idx3，…，idxn}中所有值为j的项(即聚类类别标号为j的项)，获取这些项的下标，根据下标找到这些项在投影数列Xprof＝{x1，x2，x3，…，xn}中对应的项，根据下面的公式计算C′j；
上式中，idxi＝j表示在聚类类别标号序列Xidx＝{idx1，idx2，idx3，…，idxn}}中所有值为j的项的下标。
例如：要计算新的C′1，则需先找出在聚类类别标号序列Xidx＝{idx1，idx2，idx3，…，idxn}中所有值为1的项(即聚类类别标号为1的项)，假设{idx1，idx2，idx3，idx4，idx5}是Xidx中值为1的项，这些项的下标是{1，2，3，4，5}，则在投影数列Xprof中对应的项就是{x1，x2，x3，x4，x5}，根据下面的公式计算C′1；
S2224判断聚类算法是否收敛，方法是逐一比较|C1-C′1|，|C2-C′2|，|C3-C′3|，…，|CK-C′K|是否小于收敛阈值T，若存在某个|cj-c′j|＞＝T，跳转到下一步S2225；若所有的|cj-c′j|均小于T，则聚类算法已经收敛，跳出聚类算法的流程；
S2225逐一更新K个聚类中心的值：
{C1，C2，C3，…，CK}＝{C′1，C′2，C′3，…，C′K}：
S2226判断聚类算法的迭代次数是否已经达到maxlter次，若尚未达到，将迭代次数增加1，跳转到S2222；若已达到，跳出聚类算法的流程；至此，Kmeans聚类算法结束。
S2227对聚类得到的K个聚类中心{C1，C２，C３，...，CK}按从小到大排序，将排序的结果赋给子图像中心位置的x坐标值Xappr。
其中的c是原始图像中子图像的列数。
S223计算空白图像在y方向(即竖直方向)上的投影，得到一个投影数列Yprof＝{y1，y2，y3，…，ym}其长度m等于空白图像的竖直高度。
具体来说，对空白图像中每一条水平的像素行，对该行中的每一个像素的灰度值作累加求和，其总和作为投影数列中对应项的值。例如，计算空白图像中第一行像素灰度值的总和，作为投影数列第一项的值，计算空白图像中第二行像素灰度值的总和，作为投影数列第二项的值，以此类推，直至计算完空白图像所有的像素行。
S224使用Kmeans方法(K均值聚类)对投影数列Yprof进行聚类，初步估计子图像中心位置的y坐标值Yappr。
Kmeans聚类的类别数目K设置为空白图像中子图像的行数r(亦即：空白图像中一列子图像所包含的子图像个数)，聚类得到的K个聚类中心{C1，C2，C3，…，CK}即为对子图像中心位置的y坐标值Yappr的初步估计(子图像共r行，故一共有r个不同的y坐标值，此次聚类K＝r)。聚类算法的具体过程与前面描述的步骤使用Kmeans方法(K均值聚类)对投影数列Xprof进行聚类”类似，在此不再赘述。
对聚类得到的K个聚类中心{C1，C2，C3，…，CK}按从小到大进行排序，将排序的结果赋给子图像中心位置的y坐标值Yappr。
其中的r是子图像的行数。
需要说明的是，虽然在前面的步骤中，聚类的类别数目都以“K”标记，并且聚类中心均采用了同样的记号{C1，C2，C3，…，CK}，但这只是一种约定俗成的记法(Kmeans的K即意味着K个类别，mean意味着均值，聚类中心的C意味着中心(即Centroid的首字母)，事实上在前述步骤中的聚类类别数目K分别有着不同的赋值(步骤3中的K是子图像的列数目，步骤5中的K是子图像的行数目)，步骤3)和步骤5)中的{C1，C2，C3，…，CK}也有着不同的数列长度和值，分别代表着初步估计的子图像中心位置的x坐标值Xappr、y坐标值Yappr。
S225结合Xappr与Yappr，精确估计子图像中心位置的x坐标值Xaccu、y坐标值Yaccu。这是由于子图像与子透镜的排布形式一致，在空白图像内以有序的、等间隔的方形\矩形阵列形式排布，具体方式如下：
S2251计算Xappr的第二项到倒数第二项的平均值xmean，计算Yappr的第二项到倒数第二项的平均值ymean，即：
其中c是子图像的列数，r是子图像的行数。
计算中去除Xappr与Yappr的首、尾两项的原因是：Xappr与Yappr的首项和尾项均代表了空白图像最外围一圈的子图像的中心位置，由于光学成像的最外围图像往往畸变较大、且最外围图像有可能部分缺失等因素，初步估计得到的最外围一圈的子图像中心位置往往准确度较低，去除掉这些数据可以避免将误差引入到子图像中心位置的精确估计中。
S2252从Xappr的第二项到倒数第二项，每一项均减去平均值xmean，得到一个均值为0的新数列从Yappr的第二项到倒数第二项，每一项均减去平均值ymean，得到一个均值为0的新数列即：
其中i的取值范围是{2,3,...,c-1}
其中j的取值范围是{2,3,...,r-1}
S2253将与合并，利用最小二乘法估计下式中的系数p0,p1,两个系数p1和p0分别是一个直线方程的斜率和截距，其中的斜率就是透镜阵列中相邻两个子图像中心点的间距：
S2254利用上面得到的p1、p0和xmean及ymean，精确估计子图像中心位置的x坐标值Xaccu、y坐标值Yaccu，具体方式如下：
上述式中，
其中i的取值范围为{1,2,3,...,c}
其中j的取值范围为{1,2,3,...,r}
S023将各参照子图像的位置信息转换为对应各子图像的位置信息。当获取到各参照子图像的位置信息后，各子图像与各参照子图像按照一一对应关系，即可获得各子图像的位置信息。
在一个较佳实施例中，所述步骤S04主要包括：
S041利用各微透镜单元的深度均值获取对应的物距值；
S042依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
S043依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。步骤S043具体描述如下：
S431采集所述微透镜阵列形成的干涉条纹图像；
S432获取所述干涉条纹图像中全部暗条纹或全部亮条纹的位置信息；
S433获取所述微透镜阵列的Zernike系数，并依据所述Zernike系数与所述全部暗条纹或全部亮条纹的位置信息计算所述微透镜阵列的焦距；
S434不断改变施加至所述微透镜阵列的驱动电压，获取满足综合像差量小于预设值时的起步焦距，并记录所述起步焦距对应的第一驱动电压和第二驱动电压；
S435将所述第一驱动电压和所述第二驱动电压中一个固定不变，另一个按照预设的步进量递进，并记录每变化一个步进量对应的焦距；
S436依据所述微透镜阵列的焦距与光焦度的换算关系，建立光焦度分布与驱动电压分布之间的对应关系。
而这里的微透镜阵列较佳为液晶微透镜阵列，也可是玻璃透镜阵列或液体透镜阵列。其中液晶微透镜阵列是指小孔径的液晶透镜，按照矩阵的方式将多个小孔径液晶透镜组合起来。
现在以液晶微透镜阵列的单个液晶微透镜为例来说明光焦度分布与驱动电压之间的关系，液晶微透镜阵列的其它液晶微透镜也采用相同方法。
首先需要测量液晶微透镜的光焦度P与驱动电压(V1，V2)变化的关系，寻找出像差最小的电压组合(频率，振幅)，使得总的光焦度P总＝P+-P-最大。测量液晶微透镜光焦度P随着驱动电压(V1，V2)变化的关系，测量方法可参考现有技术，经过测量得到液晶微透镜的光焦度(optical power)随驱动电压变化的关系：光焦度optical_power＝fun1(V1,V2)，具体的关系可参见以下论文：如B.Wang,M.Ye,and S.Sato的论文《“Lens of electricallycontrollable focal length made by a glass lens and liquid-crystal layers”,Appl.Opt.43,3420–3425(2004)》，M.Ye,M.Noguchi,B.Wang and S.Sato的论文《Zoom lenssystem without moving elements realised using liquid crystal lenses》以及MaoYe,Bin Wang等的论文《Low-Voltage-Driving Liquid Crystal Lens》。
在一个具体实施例中，以液晶微透镜为例，将干涉相干光通过液晶微透镜，形成干涉条纹，并用成像装置将干涉图采集记录。接着采用第三方软件FringeXP获取全部暗条纹或亮条纹的位置，然后采用软件FringeXP获取液晶微透镜的zernike系数，从而依据液晶微透镜的光焦度公式P＝4Z3λ/(D/2)2，获得液晶微透镜的光焦度P，其中，D为条纹的直径，λ为光的波长，Z3为液晶微透镜的zernike系数。通过不断变化电压(V1，V2)，寻找到综合像差量RMS<0.07λ时候，所对应的起步焦距例如液晶微透镜处于正透镜时取最小焦距值fmin，并记录起步焦距fmin时的控制电压(V1fmin，V2fmin)。之后固定V1＝V1fmin，连续变化V2＝V2fmin+Vstep，Vstep表示步进电压，可以根据精度的要求，选取0.1V或0.05V，当然并不局限于这些值，可以依据需要任意设定。记录每一个电压(V1fmin，V2fmin+K1*Vstep)组合下的焦距fK，其中K1∈[0，(V1fmin-V2fmin)/Vstep]。从而确定了焦距fK需要的控制电压(V1fmin，V2fmin+K1*Vstep)。以上是针对液晶微透镜为正透镜时的情况，对于液晶微透镜为负透镜时，固定V2＝V2fmin,连续变化V1＝V1fmin+Vstep,这里的Vstep与前面相同，也表示步进电压，可依据需要任意设定。然后记录每一个电压(V1fmin+K2*Vstep，V2fmin)组合下的焦距FK，其中，K2∈[(V1fmin-V2fmin)/Vstep，0]，从而确定了焦距FK需要的控制电压(V1fmin+K2*Vstep，V2fmin)。
还有，指定的场景深度值Depth’映射得到目标物距值u’，由目标物距值u’根据物距与焦距一一对应的关系：u＝v/(v/(P1+P2)-1)计算液晶微透镜需要输出的光焦度P1’，根据光焦度optical_power＝1/f1＝fun1(V1,V2)公式计算需要的电压(V1’，V2’),即可得到液晶微透镜在控制电压(V1’,V2’)下，对场景深度值为Depth’的物体清晰对上焦。
此外，成清晰像必须满足高斯成像公式：1/f＝1/u+1/v，f为成像光学系统焦距，u为物距，v为像距。组合透镜的总焦距与子透镜之间的关系为：1/f’＝1/f1+1/f2–d/(f1*f2)，f’为总焦距，f1为液晶微透镜焦距，f2为玻璃透镜(相当于成像设备的主透镜单元，包括一个或多个玻璃透镜)的焦距，d为液晶微透镜和玻璃透镜之间的距离。在液晶成像系统中，没有任何机械移动，像距v保持不变，所以对焦的物距u与透镜组焦距f’一一对应：u＝fun2(f’)＝vf’/(v–f’)＝v/(v/(1/f1+1/f2–d/(f1*f2))-1)。由于在实际系统中，当液晶微透镜贴附在玻璃透镜上时，d的取值可以是d＝0，即：u＝v/(v/(P1+P2)-1)。这里的P1是液晶微透镜的光焦度，P2是玻璃透镜的光焦度。也就是说，作为成像系统时，微透镜阵列是微调焦设备，需要与主透镜单元(包括多个玻璃透镜和/或多个树脂透镜)结合使用，作为摄像头，当然主透镜单元的很多参数都可通过现有技术获取，这里就不再介绍。
在一个较佳的实施例中，所述自动全焦成像方法所述步骤S05还包括以下步骤：
S051依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
S052依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。较佳地，所述步骤S052具体包括以下步骤：
S0521依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
S0522依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
S0523按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
具体来说，上述S0521具体包括
S5310设置所述子图像的像圆直径的初始值；
在灰度图像Ig中，为各子图像选择一个初始的直径b0，在本发明中，一幅灰度图像Ig内的所有子图像均使用同一直径，提取出每个子图像的像圆，即：
对于灰度图像Ig内的每个子图像，以子图像的中心位置为圆心、以b0为直径(b0≤e，其中e表示相邻两个子图像中心位置的间距)，提取出一个圆形区域(以下将这个圆形区域称为像圆)，该像圆将被用于后续的自适应图像拼接。
像圆的初始直径b0可以从光学仿真的结果中获得；另外，也可以根据经验选择初始直径b0，一般的，0.45*e≤b0≤0.85*e。
S5320计算任意相邻两个像圆中心之间的位置间距；
根据像圆直径b0，确定拼接图像时相邻两个像圆的中心位置间距d0，间距d0与像圆直径b0满足下面的关系
S5330依据所述位置间距，计算任意相邻两个像圆行中第一行像圆与第二行像圆之间的行拼接间距值，以及任意相邻两个像圆列中第一列像圆与第二列像圆列之间的列拼接间距值；具体来说，对于像图中的每两个相邻的像圆行、每两个相邻的像圆列，按照下面的方式计算其最佳拼接间距，其中，像圆行、像圆列的计算顺序可以打乱，但不会影响到最终结果：假设像图中的子图像有R行、C列，则上述行拼接间距值与上述列拼接间距值按以下步骤获得：
S5331对于第1行像圆与第2行像圆(每一行像圆均包含有本行的C个像圆)，依以下步骤计算其最佳拼接间距
(a)当第1行像圆与第2行像圆的中心位置的上、下间距为d0时，计算每两个上下相邻的像圆的重叠区域；
(b)计算在第1行的C个像圆与第2行的C个像圆的所有重叠区域内，像素灰度值的标准差std(d0)。这个标准差std(d0)可以采用下面这个公式获得：
(c)按照一定的步长s改变第1行像圆与第2行像圆中心位置的上、下间距，例如，s＝1即代表每次将间距改变一个像素。依次计算当两行像圆中心位置的上、下间距d'：
d'＝{d0–s,d0-2s,d0-3s,…,d0–k*s,d0+2s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，在所有的上、下相邻的像圆的重叠区域内，像素灰度值的标准差std(d')，其中，k为整数，并且使得k*s<0.4d0，一般可以选择使k*s<0.2d0的k值与s值。
(d)比较当第1行像圆与第2行像圆中心位置的上、下间距为{d0,d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，对应的所有上、下相邻像圆的重叠区域内像素灰度值的标准差std，找出使标准差std最小的间距值，将这个使标准差std最小的间距值记为
S5332对于第2行像圆与第3行像圆，计算其最佳拼接间距对于第3行像圆与第4行像圆，计算其最佳拼接间距……；对于第R-1行像圆与第R行像圆，计算其最佳拼接间距
S5333对于第1列像圆与第2列像圆(每一列像圆均包含有本行的R个像圆)，依以下步骤计算其最佳拼接间距
(A)当第1列像圆与第2列像圆的中心位置的左、右间距为d0时，计算每两个左右相邻的像圆的重叠区域；
(B)计算第1列的R个像圆与第2列的R个像圆的所有重叠区域内，像素灰度值的标准差std(d0)。这个标准差可以按以下公式计算：
(C)按照一定的步长s改变第1列像圆与第2列像圆中心位置的左、右间距，例如，s＝1即代表每次将间距改变一个像素。依次计算当两列像圆中心位置的左、右间距:
d″＝{d0–s,d0-2s,d0-3s,…,d0–k*s,d0+2s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，在所有的左、右相邻的像圆的重叠区域内，像素灰度值的标准差std(d″)。其中，k为整数，并且使得k*s<0.4d0，一般可以选择使k*s<0.2d0的k值与s值。
(D)比较当第1列像圆与第2列像圆中心位置的左、右间距为{d0,d0–s,d0-2s,d0-3s,…,d0–k*s,d0+s,d0+2s,d0+3s,…,d0+k*s}时，对应的所有左、右相邻像圆的重叠区域内像素灰度值的标准差std，找出使标准差std最小的间距值，将这个使标准差std最小的间距值记为
S5334对于第2列像圆与第3列像圆，计算其最佳拼接间距对于第3列像圆与第4列像圆，计算其最佳拼接间距……；对于第C-1列像圆与第C列像圆，计算其最佳拼接间距
S5350将上面步骤S330中得到的R-1个行间最佳拼接间距(其中i＝1，2，3，...，R-1)及C-1个列间最佳拼接间距(其中j＝1，2，3，...，C-1)分别计算行拼接间距的平均值和列拼接间距的平均值。
S5360判断上述平均值(包括行拼接间距的平均值和列拼接间距的平均值)的大小是否在预设范围内；这个预设范围依据实际需要设定。较佳地，这里的预设范围为：各平均值小于等于d0+0.75*k*s、并且大于等于d0-0.75*k*s进入步骤S5340。
若平均值大于d0+0.75*k*s或小于d0-0.75*k*s则重新计算子图像的初始直径b0
将上式中计算得到的b0作为子图像的初始直径，重新执行步骤S310、S320、S330和S350以及S360直至R-1个行间最佳拼接间距(其中i＝1，2，3，...，R-1)及C-1个列间最佳拼接间距(其中j＝1，2，3，...，C-1)各自的平均值小于等于d0+0.75*k*s、并且大于等于d0-0.75*k*s为止，进入下一步骤。
S5340依据所述行拼接间距值与所述列拼接间距值，获得任意相邻两个子图像的像圆之间满足预设条件的拼接间距值。这里的预设条件依据产品性能由用户根据实际需要来设置。具体来说，对于R-1个行间最佳拼接间距(其中i＝1，2，3，...，R-1)及C-1个列间最佳拼接间距(其中j＝1,2,3,...,C-1)，计算这些行间、列间最佳拼接间距与平均值的差的绝对值，若这些绝对值中存在着大于0.25*k*s(预设条件)的，找出对应的最佳拼接间距，并将其修改成平均值。
所述步骤S0522具体包括：
S5410获取各子图像的直径；计算子图像的直径b采用以下公式：
(其中b向上取整)
在亮度均一的场景图像Iu中，以子图像的中心位置为圆心、以整数b为直径。
S5420依据各子图像的直径，提取各子图像的像圆。
本发明提出了一种在微透镜阵列成像中定位子图像中心位置的方法，该方法只需要微透镜阵列的一次真实成像，即可从得到的像图中获取子图像的中心位置，操作方法简便，精度高。且由于该方法直接对微透镜阵列的真实成像结果进行分析，不受光学仿真与实际成像之间存在偏差、器件加工组装误差等问题的影响，因此可信度极高。
因为透镜阵列定型后，各子图像在像图中的中心位置就被固定，所以此方法仅需要在透镜阵列定型时进行一次操作，将得到的子图像的中心位置存入存储器中，在实际拍摄时直接从存储器中读取子图像的中心位置进行后续拼图，而无需再次进行此操作。
上述步骤S0523具体包括以下步骤：
S5510判断经由主透镜所成的图像位于透镜阵列面向所述主透镜的一侧还是背离所述主透镜的一侧。
S5520若主透镜所成的图像位于透镜阵列的前方(即主透镜所成的图像位于透镜阵列面向主透镜的一侧，亦即主透镜与透镜阵列之间)，则每个子图像的像圆需要围绕其中心旋转180°。将拼接好的图像围绕其中心旋转180°(因为主透镜所成的像是实像，存在180°的旋转)。前述主透镜所成的图像通过所述透镜阵列后即为原始图像。
S5530若主透镜所成的图像位于透镜阵列的后方(即主透镜所成的图像位于透镜阵列背离主透镜的一侧)，则每个子图像的像圆无需旋转。
S5540获取任意相邻两个子图像的像圆之间满足所述预设条件的拼接间距值，拼接所述像圆生成场景图像。
通过判断主透镜所成的图像与透镜阵列的位置关系，从而保证生成的场景图像不会出现颠倒等情况，进一步保证了场景图像的成像质量。
请参见图2，图2为本发明一实施方式的自动全焦成像装置的结构示意图。如图2所示，本发明还提供一种自动全焦成像装置，包括：
深度值分布图获取单元1000，用于通过一微透镜阵列获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
位置信息获取单元2000，用于获取每一微透镜单元对应子图像的位置信息；
深度均值计算单元3000，用于计算每一微透镜单元对应子图像的深度均值；
驱动电压获取单元4000，用于利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
全焦图像生成单元5000，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
本发明的自动全焦成像装置，通过对透镜阵列中各微透镜单元进行单独控制，以光学控制的方式来实现全焦点成像，避免了复杂的图像处理，并受到图像边缘模糊影响成像质量的问题，具有全焦成像实现简单、成像质量好的有益效果。
较佳地，所述全焦图像生成单元包括：
驱动模块，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
全焦图像生成模块，用于依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
较佳地，所述全焦图像生成模块包括：
拼接间距值获取子单元，用于依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
像圆提取子单元，用于依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
全焦图像生成子单元，用于按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
较佳地，所述驱动电压获取单元主要包括：
物距值获取模块，利用各微透镜单元的深度均值获取对应的物距值；
光焦度值获取模块，依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
驱动电压模块，依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
请参见图3，图3为本发明另一实施方式的自动全焦成像装置的结构示意图。如图3所示，本发明又提供一种自动全焦成像装置，包括：
主透镜单元140、微透镜阵列110、图像传感器130、图像处理单元100及存储器120。其中，主透镜单元140用于拍摄场景150并成像。微透镜阵列110依据图像处理单元100的指令工作，包括多个可变焦且呈阵列分布的微透镜单元。图像传感器130用于将经过所述主透镜单元与所述微透镜阵列后的光学图像信号转换为电信号，存储器120存储一段计算机可执行的程序指令。图像处理单元100用于控制所述微透镜阵列110、所述图像传感器130与所述存储器120工作，所述图像处理单元100调用所述存储器120中存储的程序指令用于实现前面所述的自动全焦成像方法，该自动全焦成像方法，包括：
S01通过微透镜阵列后获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
S02获取每一微透镜单元对应子图像的位置信息；
S03计算每一微透镜单元对应子图像的深度均值；
S04利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
S05依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
较佳地，所述自动全焦成像方法所述步骤S05还包括以下步骤：
S051依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
S052依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
较佳地，所述步骤S01具体包括以下子步骤：
S011通过前述微透镜阵列在至少第一光焦度和第二光焦度下对同一场景获取至少两幅图像，各幅图像的放大率相同，其中，所述第一光焦度不同于所述第二光焦度；
S012分别获取每幅图像的相对散焦度值或聚焦度值；
S013通过DFD算法或DFF算法获取所述场景的相对深度值分布图。
较佳地，所述第一光焦度为所述微透镜单元处于正透镜时的最大正光焦度；所述第二光焦度为所述微透镜单元处于负透镜时的最大负光焦度。
较佳地，所述步骤S052具体包括以下步骤：
S0521依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
S0522依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
S0523按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
较佳地，所述步骤S02主要包括以下步骤：
S021获取一通过所述透镜阵列拍摄的参照图像中对应各子透镜的参照子图像；
S022获取对应各子透镜的参照子图像的位置信息；
S023将各参照子图像的位置信息转换为对应各子图像的位置信息。
较佳地，所述步骤S04主要包括：
S041利用各微透镜单元的深度均值获取对应的物距值；
S042依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
S043依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
以上仅是概要说明本发明自动全焦成像装置的图像处理单元140调用存储器存储指令实现自动全焦成像的实现方法，而关于其涉及的自动全焦成像方法的明细请参见图1及前文对应部分的详细描述，在此不再赘述。
本发明的自动全焦成像装置，通过对透镜阵列中各微透镜单元进行单独控制，以光学控制的方式来实现全焦点成像，避免了复杂的图像处理，并受到图像边缘模糊影响成像质量的问题，具有全焦成像实现简单、成像质量好的有益效果。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种自动全焦成像方法，其特征在于，所述自动全焦成像方法包括：
S01通过一微透镜阵列后获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
S02获取每一微透镜单元对应子图像的位置信息；
S03计算每一微透镜单元对应子图像的深度均值；
S04利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
S05依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
2.如权利要求1所述的自动全焦成像方法，其特征在于，所述自动全焦成像方法所述步骤S05还包括以下步骤：
S051依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
S052依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
3.如权利要求1所述的自动全焦成像方法，其特征在于，所述步骤S01具体包括以下子步骤：
S011获取每一微透镜单元处于第一光焦度下拍摄所述场景的第一图像；
S012获取每一微透镜单元处于第二光焦度下拍摄所述场景的第二图像，其中所述第一光焦度不同于所述第二光焦度；
S013依据所述第一图像和所述第二图像通过DFD算法获取所述场景的深度值分布图。
4.如权利要求3所述的自动全焦成像方法，其特征在于，所述第一光焦度为所述微透镜单元处于正透镜时的最大正光焦度；所述第二光焦度为所述微透镜单元处于负透镜时的最大负光焦度。
5.如权利要求2所述的自动全焦成像方法，其特征在于，所述步骤S052具体包括以下步骤：
S0521依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
S0522依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
S0523按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
6.如权利要求1至5任一项所述的自动全焦成像方法，其特征在于，所述步骤S02主要包括以下步骤：
S021获取一通过所述透镜阵列拍摄的参照图像中对应各子透镜的参照子图像；
S022获取对应各子透镜的参照子图像的位置信息；
S023将各参照子图像的位置信息转换为对应各子图像的位置信息。
7.如权利要求1至5任一项所述的自动全焦成像方法，其特征在于，所述步骤S04主要包括：
S041利用各微透镜单元的深度均值获取对应的物距值；
S042依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
S043依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
8.一种自动全焦成像装置，其特征在于，所述自动全焦成像装置包括：
深度值分布图获取单元，用于通过一微透镜阵列获取一场景的深度值分布图，其中，所述微透镜阵列包括多个呈阵列排布的微透镜单元，每一微透镜单元对应所述深度值分布图的一个子图像；
位置信息获取单元，用于获取每一微透镜单元对应子图像的位置信息；
深度均值计算单元，用于计算每一微透镜单元对应子图像的深度均值；
驱动电压获取单元，用于利用各微透镜单元的深度均值，获取相应微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，其中，各微透镜单元分别对应所述场景的一个感兴趣区域，所述感兴趣区域通过相应微透镜单元后成为一子图像；
全焦图像生成单元，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成全焦图像。
9.如权利要求8所述的自动全焦成像装置，其特征在于，所述全焦图像生成单元包括：
驱动模块，用于依据各微透镜单元对所述场景的感兴趣区域实现对焦的驱动电压，驱动各微透镜单元对各自相对应的感兴趣区域对焦生成对焦子图像；
全焦图像生成模块，用于依据各对焦子图像的位置信息，将各对焦子图像拼接生成所述全焦图像。
10.如权利要求9所述的自动全焦成像装置，其特征在于，所述全焦图像生成模块包括：
拼接间距值获取子单元，用于依据各对焦子图像的位置信息，获取任意相邻两个对焦子图像的像圆之间满足预设条件的拼接间距值；
像圆提取子单元，用于依据各对焦子图像的尺寸，提取各对焦子图像的像圆；
全焦图像生成子单元，用于按照所述拼接间距值，拼接所述像圆生成所述全焦图像。
11.如权利要求10所述的自动全焦成像装置，其特征在于，所述驱动电压获取单元主要包括：
物距值获取模块，利用各微透镜单元的深度均值获取对应的物距值；
光焦度值获取模块，依据高斯成像公式及所述物距值，获取各微透镜单元的光焦度值；
驱动电压模块，依据各微透镜单元的光焦度值与各微透镜单元的驱动电压之间的映射关系，获取待施加至各微透镜单元上与所述光焦度值对应的驱动电压值。
12.一种自动全焦成像装置，其特征在于，所述自动全焦成像装置包括：
主透镜单元，用于拍摄一场景并成像；
微透镜阵列，包括多个可变焦且呈阵列分布的微透镜单元；
图像传感器，用于将经过所述主透镜单元与所述微透镜阵列后的光学图像信号转换为电信号；
存储器，用于存储一段程序指令；
图像处理单元，用于控制所述微透镜阵列、所述图像传感器与所述存储器工作，所述图像处理单元调用所述存储器中存储的程序指令用于实现权利要求1至7任一项所述的自动全焦成像方法。
CN201611028849.5A 2016-11-18 2016-11-18 自动全焦成像方法及装置 Active CN106454116B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611028849.5A CN106454116B (zh) 2016-11-18 2016-11-18 自动全焦成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611028849.5A CN106454116B (zh) 2016-11-18 2016-11-18 自动全焦成像方法及装置

Publications (2)

Publication Number Publication Date
CN106454116A CN106454116A (zh) 2017-02-22
CN106454116B true CN106454116B (zh) 2019-06-28

Family

ID=58221512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611028849.5A Active CN106454116B (zh) 2016-11-18 2016-11-18 自动全焦成像方法及装置

Country Status (1)

Country Link
CN (1) CN106454116B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107995424B (zh) * 2017-12-06 2020-06-16 太原科技大学 基于深度图的光场全聚焦图像生成方法
CN108470323B (zh) * 2018-03-13 2020-07-31 京东方科技集团股份有限公司 一种图像拼接方法、计算机设备及显示装置
CN110160468B (zh) * 2019-04-29 2020-12-29 东南大学 一种针对运动对象的散焦光栅投影三维测量方法
CN110031830B (zh) 2019-04-29 2020-11-03 清华大学深圳研究生院 一种基于激光线扫描成像的测距方法
CN111650759A (zh) * 2019-12-31 2020-09-11 北京大学 近红外光斑投影的多焦距微透镜阵列遥感光场成像系统
CN114554085A (zh) * 2022-02-08 2022-05-27 维沃移动通信有限公司 对焦方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201250284A (en) * 2012-08-15 2012-12-16 Largan Precision Co Ltd Image capturing lens system
JP2013021682A (ja) * 2011-07-08 2013-01-31 Mitsubishi Electric Corp 焦点に基づく動的シーンの深度再構成のための装置および方法
JP5390046B2 (ja) * 2011-03-31 2014-01-15 富士フイルム株式会社 焦点拡張光学系及びＥＤｏＦ撮像システム
CN103533232A (zh) * 2012-07-05 2014-01-22 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN103731601A (zh) * 2012-10-12 2014-04-16 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104919456A (zh) * 2013-01-11 2015-09-16 佳能株式会社 图像处理装置、图像处理方法和程序、以及摄像装置
US9300855B2 (en) * 2011-03-14 2016-03-29 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and computer program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9300855B2 (en) * 2011-03-14 2016-03-29 Panasonic Corporation Imaging apparatus, imaging method, integrated circuit, and computer program
JP5390046B2 (ja) * 2011-03-31 2014-01-15 富士フイルム株式会社 焦点拡張光学系及びＥＤｏＦ撮像システム
JP2013021682A (ja) * 2011-07-08 2013-01-31 Mitsubishi Electric Corp 焦点に基づく動的シーンの深度再構成のための装置および方法
CN103533232A (zh) * 2012-07-05 2014-01-22 卡西欧计算机株式会社 图像处理装置以及图像处理方法
TW201250284A (en) * 2012-08-15 2012-12-16 Largan Precision Co Ltd Image capturing lens system
CN103731601A (zh) * 2012-10-12 2014-04-16 卡西欧计算机株式会社 图像处理装置以及图像处理方法
CN104919456A (zh) * 2013-01-11 2015-09-16 佳能株式会社 图像处理装置、图像处理方法和程序、以及摄像装置

Also Published As

Publication number Publication date
CN106454116A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106454116B (zh) 自动全焦成像方法及装置
US10705326B2 (en) Autofocus system for a computational microscope
CN103403494B (zh) 摄像装置
CN104125394B (zh) 摄像装置及其控制方法
US9137526B2 (en) Image enhancement via calibrated lens simulation
Forman et al. Continuous parallax in discrete pixelated integral three-dimensional displays
CN108446596A (zh) 基于可见光相机矩阵的虹膜3d四维数据采集系统及方法
CN106231177A (zh) 场景深度测量方法、设备及成像装置
CN108594451A (zh) 控制方法、控制装置、深度相机和电子装置
AU2019221088A1 (en) Method and system for calibrating a plenoptic camera system
Kashiwagi et al. Deep depth from aberration map
Lee et al. Design and single-shot fabrication of lensless cameras with arbitrary point spread functions
EP3983933A1 (en) Method and system for determining a refraction feature of an eye of a subject using an image-capture device
CN106791498B (zh) 图像定位方法、透镜阵列成像方法及装置
Liu et al. Long-working-distance 3D measurement with a bionic curved compound-eye camera
CN106713707B (zh) 透镜阵列成像方法及装置
US20140184861A1 (en) Accurate plenoptic rendering with defocus blur
US10234692B2 (en) Floating hologram apparatus
CN108431660A (zh) 范围优化的全光变焦
JP2011133360A (ja) 距離計測装置、距離計測方法、及びプログラム
Jorissen et al. Homography based identification for automatic and robust calibration of projection integral imaging displays
Ai et al. Motion parallax enhanced 3-D integral imaging display from the commercial plenoptic camera
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN104584075A (zh) 用于描述对象空间的对象点以及用于其执行的连接方法
CN110332991A (zh) 一种光谱的重构方法、装置和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant