CN114285991B

CN114285991B - 图像探测器的对焦方法

Info

Publication number: CN114285991B
Application number: CN202111556901.5A
Authority: CN
Inventors: 肖树林; 薛旭成; 胡长虹
Original assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Current assignee: Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date: 2021-12-18
Filing date: 2021-12-18
Publication date: 2022-11-04
Anticipated expiration: 2041-12-18
Also published as: CN114285991A

Abstract

本发明提供一种图像探测器的对焦方法，具体步骤为：通过获取每个像元的电流值，进而获得每个像元的图像；将同一个感光单元的像元间的图像做互相关运算，分别获取相应的互相关函数曲线和自相关函数曲线；分析互相关函数曲线，并将感光单元的每个相邻像元的电流值相互比较，根据比较结果确定待调整图像探测器处于离焦状态或倾斜状态；根据自相关函数曲线、待调整图像探测器的状态，改变或维持图像探测器的位置，以实现图像探测器的二自由度对焦。本发明所提供的图像探测器的对焦方法能够解决高精度大靶面图像探测器倾斜测量问题。

Description

图像探测器的对焦方法

技术领域

本发明属于图像设备技术领域，具体涉及一种图像探测器的对焦方法。

背景技术

对焦传感器是摄像设备的核心部件，通过将光信号转换成电信号实现图像拍摄功能。以CMOS对焦传感器(CMOS Image Sensors，CIS)器件为例，由于其具有低功耗和高信噪比的优点，因此在各种领域内得到了广泛应用。

在现有技术中，为了提高光学对焦传感器的性能，采用相位检测对焦(PhaseDetection Auto Focus，PDAF)技术进行聚焦。但现有技术中的对焦对焦传感器只针对像面位置的一个自由度(沿轴向的离焦)进行探测从而驱动调焦机构调整焦面位置以达到合焦状态。通常为了实现多点对焦，将对焦探测像元集成于对焦传感器中，带来的后果是影响图像探测器输出的图像质量，这对于航天遥感图像获取十分不利。并且现有技术中的对焦传感器分布在对焦传感器中，对图像像质会产生一定影响，不利于航天遥感图像的获取，且其只对离焦量进行检测，针对大靶面焦平面，无法实现倾斜量的检测。

发明内容

本发明克服现有技术的不足，本发明提供一种图像探测器的对焦方法。

本发明提供一种图像探测器的对焦方法，基于图像传感器的对焦装置实现对焦，对焦装置的数值孔径与待调整图像探测器的数值孔径相匹配，将对焦装置与待调整图像探测器同轴且平行设置，对焦装置包括对焦传感器、微透镜阵列，对焦传感器包括阵列排布的N个对焦单元，每个对焦单元包括阵列排布的M*N个感光单元，每个感光单元包括2*2个像元，微透镜阵列中的微透镜覆盖在对应的每个感光单元上；其中，M和N均大于等于1；

图像探测器的对焦方法包括如下步骤：

S1、获取每个像元的图像；

S2、将同一个感光单元中的不同相邻像元间的图像做互相关运算，分别获取相应的互相关函数曲线和自相关函数曲线，并同时获取每个像元的电流值；

S3、分析互相关函数曲线，并将感光单元的相邻两个像元的电流值相互比较，根据比较结果确定待调整图像探测器的状态处于离焦状态或倾斜状态；

S4、根据自相关函数曲线、待调整图像探测器的状态，改变待调整图像探测器的位置，实现待调整图像探测器的二自由度对焦。

进一步地，步骤S3具体包括以下步骤：

S301、判断电流值：将斜对角边方向相邻的像元的电流值相比较，同时将水平方向相邻的像元的电流值相比较；

S302、对互相关函数曲线的相关峰的位置进行分析：

对离焦状态判断：斜对角边的两个像元的电流值不相等，则待调整图像探测器处于离焦状态；分析斜对角边方向相邻的像元的互相关函数曲线，互相关函数曲线的互相关峰的所在位置代表所发生离焦的方向；

倾斜状态判断：水平方向的两个像元的电流值不相等，则待调整图像探测器处于倾斜状态；分析水平方向的两个像元的电流值的互相关函数曲线，互相关函数曲线的互相关峰的所在位置代表所发生倾斜的方向。

进一步地，在步骤S4中，改变待调整图像探测器的位置具体为：根据自相关函数曲线的最大值进行位移调节，当自相关函数曲线的最大值与预设值相等时，停止调节。

与现有技术相比，本发明的有益效果为：

1、本发明所提供的图像探测器的对焦方法能够解决高精度大靶面图像探测器倾斜测量问题；

2、本发明所提供的图像探测器的对焦方法能够解决图像探测器倾斜测量问题的同时实现离焦的测量；

3、本发明所提供的图像探测器的对焦方法简单易实现、实现成本低。

附图说明

图1是本发明实施例中的对焦装置的结构示意图；

图2是本发明实施例中的感光单元的结构示意图；

图3是本发明实施例中的对焦装置与待调整图像探测器位置关系的结构示意图；

图4是本发明实施例中图像探测器的对焦方法的流程示意图；

图5是本发明实施例中后离焦状态示意图；

图6(a)是本发明实施例中轴上点成像的对焦状态电流i_a的示意图；

图6(b)是本发明实施例中轴上点成像的对焦状态电流i_d的示意图；

图6(c)是本发明实施例中轴上点成像的对焦状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图6(d)是本发明实施例中轴上点成像的对焦状态自相关函数xcorr(c)的曲线示意图；

图7(a)是本发明实施例中轴上点成像的后离焦第一状态电流i_a的示意图；

图7(b)是本发明实施例中轴上点成像的后离焦第一状态电流i_d的示意图；

图7(c)是本发明实施例中轴上点成像的后离焦第一状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图7(d)是本发明实施例中轴上点成像的后离焦第一状态自相关函数xcorr(c)的曲线示意图；

图8(a)是本发明实施例中轴上点成像的后离焦第二状态电流i_a的示意图；

图8(b)是本发明实施例中轴上点成像的后离焦第二状态电流i_d的示意图；

图8(c)是本发明实施例中轴上点成像的后离焦第二状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图8(d)是本发明实施例中轴上点成像的后离焦第二状态自相关函数xcorr(c)的曲线示意图；

图9(a)是本发明实施例中轴上点成像的后离焦第三状态电流i_a的示意图；

图9(b)是本发明实施例中轴上点成像的后离焦第三状态电流i_d的示意图；

图9(c)是本发明实施例中轴上点成像的后离焦第三状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图9(d)是本发明实施例中轴上点成像的后离焦第三状态自相关函数xcorr(c)的曲线示意图；

图10(a)是本发明实施例中轴上点成像的前离焦状态电流i_a的示意图；

图10(b)是本发明实施例中轴上点成像的前离焦状态电流i_d的示意图；

图10(c)是本发明实施例中轴上点成像的前离焦状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图10(d)是本发明实施例中轴上点成像的前离焦状态自相关函数xcorr(c)的曲线示意图；

图11(a)是本发明实施例中综合场景成像的后离焦第一状态电流i_a的示意图；

图11(b)是本发明实施例中综合场景成像的后离焦第一状态电流i_d的示意图；

图11(c)是本发明实施例中综合场景成像的后离焦第一状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图11(d)是本发明实施例中综合场景成像的后离焦第一状态自相关函数xcorr(c)的曲线示意图；

图12(a)是本发明实施例中综合场景成像的后离焦第二状态电流i_a的示意图；

图12(b)是本发明实施例中综合场景成像的后离焦第二状态电流i_d的示意图；

图12(c)是本发明实施例中综合场景成像的后离焦第二状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图12(d)是本发明实施例中综合场景成像的后离焦第二状态自相关函数xcorr(c)的曲线示意图；

图13(a)是本发明实施例中综合场景成像的后离焦第三状态电流i_a的示意图；

图13(b)是本发明实施例中综合场景成像的后离焦第三状态电流i_d的示意图；

图13(c)是本发明实施例中综合场景成像的后离焦第三状态互相关函数c＝xcorr(i_a，i_d)的曲线示意图；

图13(d)是本发明实施例中综合场景成像的后离焦第三状态自相关函数xcorr(c)的曲线示意图。

其中的附图标记如下：

感光单元1、微透镜101、像元102、硅基衬底103、待调整图像探测器2、第一对焦装置301、第二对焦装置302。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互结合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

通过获取每个像元的电流值，进而获得每个像元的图像；将同一个感光单元的像元间的图像做互相关运算，分别获取相应的互相关函数曲线和自相关函数曲线；分析互相关函数曲线，并将感光单元的每个相邻像元的电流值相互比较，根据比较结果确定待调整图像探测器处于离焦状态或倾斜状态；根据自相关函数曲线、待调整图像探测器的状态，改变或维持图像探测器的位置，以实现图像探测器的二自由度对焦。本发明所提供的图像探测器的对焦方法能够解决高精度大靶面图像探测器倾斜测量问题。

图1示出了本发明实施例中的对焦装置的结构示意图。图2示出了本发明实施例中的感光单元的结构示意图。本发明的实施例是基于图像传感器的对焦装置相配合实现对焦。

如图1和图2所示，本发明实施例中的对焦装置，包括对焦装置包括对焦传感器、微透镜101阵列，对焦传感器包括阵列排布的多个对焦单元，对焦单元设置在硅基衬底103上。每个对焦单元包括阵列排布的N个感光单元1，每一个感光单元1包括2*2个像元102，微透镜101阵列中的微透镜101与感光单元1一一对应，微透镜101设置在相应的感光单元1上，其中，M和N均为大于1的自然数。如图2所示，感光单元1包括2*2个像元102和设置在2*2个像元102上的微透镜101。本发明实施例中以1个对焦单元和感光单元1为例，进行具体阐述。光束通过微透镜101会聚进入对焦传感器，采集像元102的图像，将图像做互相关运算，获取相应的自相关函数曲线和互相关函数曲线，并获取所对应像元102的电流值，根据自相关函数曲线、互相关函数曲线和电流值，获取待调整图像探测器的状态。对焦装置与待调整图像探测器可以同步运动，也可以通过现有技术中的装置控制待调整图像探测器移动，本发明实施例对此不进行限定，可以根据实际情况进行选择。本发明实施例中的对焦装置的分辨率为1000*1000像素，2μm像元102大小，对焦装置大小为2mm*2mm，做得很小，因为航天图像探测器焦面多数是拼接而成的，所以可以利用交错拼接的空余焦面布置对焦装置。

以下对本发明实施例进行具体阐述。图3示出了本发明实施例中的对焦装置与待调整图像探测器2位置关系的结构示意图。如图3所示，本实施例中分别设置两个对焦装置，第一对焦装置301和第二对焦装置302。可以根据实际情况在四个方向上的一个位置或多个位置设置一定数量的对焦装置，设置的数量与对焦的精度有关系，数量多精度高。

图4示出了发明实施例中图像探测器的对焦方法的流程示意图。

如图4所示，一种图像探测器的对焦方法，具体包括如下步骤：

对焦装置的数值孔径与待调整图像探测器2的数值孔径相匹配，对焦装置包括对焦传感器、微透镜101阵列，对焦传感器包括阵列排布的多个对焦单元，每个对焦单元包括阵列排布的M*N个像元102，每2*2个像元102对应一个感光单元1，微透镜101阵列中的微透镜101与感光单元1一一对应，微透镜101设置在相应的感光单元1上，其中，M和N均为大于1的自然数；

方法包括如下步骤：

S1、获取每个像元102的图像。

为方便描述，如图2所示，将2*2个像元102从左上方依次命名为a、b、c、d。结合本发明实施例，即获取像元a、b、c、d的四幅图像。

S2、将同一个感光单元1的不同的像元102间的图像做互相关运算，分别获取相应的互相关函数曲线和自相关函数曲线，并同时获取每个像元102的电流值。结合本发明实施例，即将像元a和d的图像，像元c和d的图像做互相关运算，并获取相关的互相关函数曲线、自相关函数曲线。并同时获取像元a、b、c、d的电流值，分别为i_a、i_b、i_c、i_d。

S3、分析互相关函数曲线，并将感光单元1的每个相邻像元102的电流值相互比较，根据比较结果确定待调整图像探测器处于离焦状态或倾斜状态。分析像元a、b、c、d的电流值i_a、i_b、i_c、i_d和互相关函数曲线相关峰的位置，能够确定待调整图像探测器2处于离焦状态或倾斜状态。

S4、根据自相关函数曲线、待调整图像探测器的状态，改变或维持待调整图像探测器的位置，以实现待调整图像探测器的二自由度对焦。

本发明实施例的具体原理如下：感光单元1可以感应从各方向入射的光束，即a、b、c、d可以感应从各方向入射的光束。当入射的光束为平行光束时，此时光束会聚于一个弥散斑内，各个方向均匀照射在a、b、c、d四个像元102上，此时a、b、c、d四个像元102的光强一致，并无差异，此时四个像元102上的电流值并无差异，即检测到合焦。若存在离焦或倾斜，光束进入微透镜101的角度将发生变化，此时将会导致微透镜101接收的立体角为Ω的光锥能量也将改变，因此从微透镜101出射至a、b、c、d四个像元102上的光强不一致，从而导致a、b、c、d四个像元102的电流值大小不同。因此，通过采集感光单元1每个像元102的图像，将感光单元1的两两像元102的图像做互相关运算，获取相应的自相关函数曲线和互相关函数曲线，并获取所对应像元102的电流值。分析互相关函数曲线，并将感光单元1的每个相邻像元102的电流值相互比较，根据比较结果确定待调整图像探测器处于离焦状态或倾斜状态。根据自相关函数曲线、待调整图像探测器的状态，改变或维持待调整图像探测器的位置，以实现待调整图像探测器的二自由度对焦。光学检测领域二自由度就是离焦和倾斜，因此本发明实施例提供的图像探测器的对焦方法，通过采集、分析感光单元1中像元102的图像，就能够实现二自由度对焦。

本发明实施例提供的图像探测器的对焦方法，将对焦装置在待调整图像探测器2的焦平面上，并沿焦平面中心线的长度或宽度方向设置。通过对对焦装置上图像的自相关函数、互相关函数、像元102电流进行分析，根据分析结果来对待调整图像探测器2处于离焦状态或倾斜状态进行调整，能够在不影响待调整图像探测器2输出的图像质量的情况下实现二自由度的对焦，这对于航天遥感领域的图像获取十分有利。并且能够同时解决高精度大靶面对焦传感器倾斜和离焦问题，实现二自由度的对焦。

本发明实施例提供一种优选方案，在步骤S3中状态的判断具体包括以下步骤：

S301、对互相关函数曲线的相关峰的位置进行分析，同时将斜对角边方向相邻的像元102的电流值相比较，同时将水平方向相邻的像元102的电流值相比较。将像元a、d图像的互相关函数曲线的相关峰的位置进行分析，像元c、d图像的互相关函数曲线的相关峰的位置进行分析，并将像元a、d，像元c、d的电流值i_a和i_d，i_c和i_d进行比较。

S302、

对离焦状态判断：斜对角边的两个像元102的电流值不相等，则待调整图像探测器处于离焦状态；分析斜对角边方向相邻的像元102的互相关函数曲线，互相关函数曲线的互相关峰的所在位置代表所发生离焦的方向。

倾斜状态判断：水平方向的两个像元102的电流值不相等，则待调整图像探测器处于倾斜状态；分析水平方向的两个像元102的电流值的互相关函数曲线，互相关函数曲线的互相关峰的所在位置代表所发生倾斜的方向。

结合本发明实施例中，以离焦状态中的后离焦状态为例进行详细阐述。如图5所示，为方便描述，首先以待调整图像探测器2成像的对焦的焦点为原点建立坐标轴，一端定义为正方向m；另一端定义为负方向-m，其中m代表像素位置，图中i_a、i_d曲线分别标是像元a和像元d随m位置变化的电流。

如图6(a)-6(d)所示，其中，c＝xcorr(i_a，i_d)是i_a，i_d的互相关函数，xcorr(c)是c的自相关函数。m为感光单元1的数量，当处于对焦状态时，i_a＝i_d，c＝xcorr(i_a，i_d)及xcorr(c)是对称的，即互相关函数曲线的互相关峰的所在位置为原点位置。如图7(a)-9(d)所示，当后离焦状态下时，i_a≠i_d，c＝xcorr(i_a，i_d)的相关峰位置发生了偏移，在图中坐标轴的正值区域，即待调整图像探测器2处于后离焦状态。如图10(a)-10(d)所示，当前离焦状态下时，i_a≠i_d，c＝xcorr(i_a，i_d)的相关峰位置发生了偏移，在图中坐标轴的负值区域，即待调整图像探测器2处于前离焦状态。

同理，倾斜状态时，i_c≠i_d，c＝xcorr(i_c，i_d)的相关峰位置发生了偏移，互相关峰的所在位置代表所发生倾斜的方向。

本发明实施例提供一种优选方案，在步骤S4改变待调整图像探测器的位置具体为：根据自相关函数曲线的最大值进行位移调节，当自相关函数曲线的最大值与预设值相等时，停止调节。

结合本发明实施例中，以离焦状态为例进行详细阐述。如图7(d)、8(d)、9(d)所示，自相关函数xcorr(c)的随着i_a、i_d电流值的差异减小；当Δi＝|i_a-i_d|)_max＝0.8时，(xcorr(c))_max＝12*10⁵；当Δi＝|i_a-i_d|)_max＝0.08时，(xcorr(c))_max＝120；当Δi＝|i_a-i_d|)_max＝0.008时，(xcorr(c))_max＝0.012。自相关函数的峰值即最大值大小随Δi＝|i_a-i_d|单调减小，且变化较大，相当于i_a、i_d的误差放大函数。通过改变待调整图像探测器2的位置，使得xcorr(c)逐渐变小，此时i_a、i_d电流值的差异将跟随减小，实际焦面也就靠近理想焦面了，当自相关函数曲线的最大值与预设值相等时，停止调节，即达到闭环对焦效果。同理，倾斜状态时，也根据自相关函数的峰值即最大值来判断是否达到了理想对焦效果，停止调节。不同(随机)场景下理想焦面所对应的自相关函数峰值是不固定(随机)的，处于理想焦面时，相对应的自相关函数峰值是最小的，因此通过闭环调整寻找自相关函数峰值最小时的焦面位置，即该系统最佳调整状态。当相邻两次采样的自相关函数峰值之差小于Δ＝|xcorr(c_t2)-xcorr(c_t1)|＜c*δ_tj时，实现闭环，停止调焦。

其中，xcorr(c_t2)、xcorr(c_t1)分别表示相邻两次间隔时间为t₂、t₁时刻的自相关函数峰值，c表示基于该对焦方法的对焦系数，由相机出厂时标定；δ_tj调焦机构的调整精度，取决于机械精度。

本发明实施例提供的图像探测器的对焦方法不仅能够应用在仅光轴上点成像的情况下，还可以应用在综合场景成像的情况下。当应用在在综合场景成像的情况下，需要根据统计后的整体的电流值、自相关函数、互相关函数的曲线进行分析、调节。如图11(a)-13(d)所示，具体应用的方法相同，可以从图11(c)、12(c)、13(c)中整体的i_a、i_d互相关函数曲线整体的互相关峰在图中坐标轴的正值区域，即待调整图像探测器2处于后离焦状态。且自相关函数的峰值即最大值大小随Δi＝|i_a-i_d|单调减小，当Δi＝|i_a-i_d|)_max＝0.8时，(xcorr(c))_max＝2*10⁵；当Δi＝|i_a-i_d|)_max＝0.08时，(xcorr(c))_max＝20；当Δi＝|i_a-i_d|)_max＝0.008时，(xcorr(c))_max＝2*10^-3。同样可以通过改变待调整图像探测器2的位置，使得xcorr(c)逐渐变小，此时i_a、i_d电流值的差异将跟随减小，实际焦面也就靠近理想焦面了，当自相关函数曲线的最大值与预设值相等时，停止调节，即达到闭环对焦效果。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims

1.一种图像探测器的对焦方法，其特征在于，基于图像传感器的对焦装置实现对焦，

所述对焦装置的数值孔径与待调整图像探测器的数值孔径相匹配，将所述对焦装置与待调整图像探测器同轴且平行设置，所述对焦装置包括对焦传感器、微透镜阵列，所述对焦传感器包括阵列排布的N个对焦单元，每个对焦单元包括阵列排布的M*N个感光单元，每个感光单元包括2*2个像元，所述微透镜阵列中的微透镜覆盖在对应的每个感光单元上；其中，M和N均大于等于1；

所述方法包括如下步骤：

S1、获取每个像元的图像；

S2、将同一个所述感光单元中的不同相邻像元间的图像做互相关运算，分别获取相应的互相关函数曲线和自相关函数曲线，并同时获取每个像元的电流值；

S3、分析所述互相关函数曲线，并将所述感光单元的相邻两个像元的电流值相互比较，根据比较结果确定待调整图像探测器的状态处于离焦状态或倾斜状态；

S4、根据所述自相关函数曲线、所述待调整图像探测器的状态，改变所述待调整图像探测器的位置，实现所述待调整图像探测器的二自由度对焦。

2.根据权利要求1所述的图像探测器的对焦方法，其特征在于，所述步骤S3具体包括以下步骤：

S302、对所述互相关函数曲线的相关峰的位置进行分析：

对所述离焦状态判断：所述斜对角边方向相邻的两个像元的电流值不相等，则所述待调整图像探测器处于离焦状态；分析所述斜对角边方向相邻的像元的互相关函数曲线，所述互相关函数曲线的互相关峰的所在位置代表所发生离焦的方向；

所述倾斜状态判断：所述水平方向的两个像元的电流值不相等，则所述待调整图像探测器处于倾斜状态；分析所述水平方向的两个像元的电流值的互相关函数曲线，所述互相关函数曲线的互相关峰的所在位置代表所发生倾斜的方向。

3.根据权利要求1所述的图像探测器的对焦方法，其特征在于，在所述步骤S4中，改变所述待调整图像探测器的位置具体为：根据所述自相关函数曲线的最大值进行位移调节，当所述自相关函数曲线的最大值与预设值相等时，停止调节。