CN112004019B - 跟踪对焦方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种跟踪对焦方法及计算机可读存储介质，方法包括：获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；从对焦后的第一帧图像中识别得到跟踪目标；获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距。本发明可高效地实现物体跟踪与对焦。

Description

跟踪对焦方法及计算机可读存储介质

技术领域

本发明涉及物体跟踪与摄像头对焦技术领域，尤其涉及一种跟踪对焦方法及计算机可读存储介质。

背景技术

摄像头对焦算法被应用在很多场景中，包括手机拍照、直播、摄像摄影等。在数字系统里面的自动对焦是基于图像处理的自动对焦，基于数字图像处理的自动对焦方法主要有离焦深度法(DFD，Depth from Defocusing)和对焦深度法(DFF，Depth from Focusing)两种(《基于图像处理的自动对焦技术综述》，尤玉虎，刘通，刘佳文)。

离焦深度法，是一种从离焦图像中取得深度信息从而完成自动对焦的方法。这种方法需要获得2～3幅的不同成像参数下的图像，还要求事先用数学模型描述成像系统，然后根据少量的成像位置获取的图像来计算最佳对焦位置。

离焦深度法的主要缺点是：需要事先获得成像系统精确的数学模型，才能保证对焦的精度，而该数学模型在理论上还不能精确地确定，只能近似估计，从而导致误差极大。常用的算法像是正则匹配，这种方法的特点是实现简单，缺点是算法效率低下。

对焦深度法，是一种建立在搜寻过程上的对焦方式。它通过选取一种适当的评价函数来评价不同对焦位置所获得图像的清晰度，清晰度值最大时对应最佳的对焦位置。这种方法要通过一系列对焦逐渐准确的图像来确定物体到探测器相面的距离，一般要搜索10～12幅图像才能够精确地找到这个位置，所用图像越多则对焦精度越高。这种方法的理论基础是理想的自动对焦评价函数是单峰值的，在峰值两侧都是单调的，在最佳对焦位置获得最大值，即峰值点就是对焦最清楚的位置。为了能准确地找到峰值的位置，减少由于噪声产生的局部极值及边缘凸出效应的干扰，可以通过Fibonacci搜索法、爬山法及曲线拟合法等来寻找最佳对焦位置。

对焦深度法是应用较多的自动对焦方法，它的广泛应用部分原因是弥补了其他对焦方法某些方面的不足，同时也因为镜头技术的快速发展，使镜头在相机中承担了更多的任务，使得自动对焦系统更加简化，对焦效果更好。

除了对焦方法，摄像头对焦技术还涉及3个核心问题：

1、图像清晰度评价

对特定的成像系统，图像的清晰度反映了系统的离焦/合焦程度。当图像比较清晰(即对焦较准确)时，图像细节丰富，在空域表现为相邻像素的特征值(如灰度、颜色等)变化较大，在频域表现为频谱的高频分量多。利用这一特点可以构造各种对焦评价函数对图像的清晰度进行评价。

2、对焦窗口的选择

对焦窗口是图像中的感兴趣区域，对焦是对感兴趣区域的对焦。对焦窗口选择算法直接地影响到对焦的复杂度、计算量和精确度。选择好了对焦窗口一方面可以减少数据处理量，加快对焦速度；另一方面非感兴趣区域多为背景，混入的背景图像会使评价函数曲线出现“双峰”或“多峰”，影响对焦精度。通常情况下，感兴趣区域为目标，对焦窗口内大部分为目标图像，缩小对焦窗口有助于减少计算量，加快对焦速度，但较小的对焦窗口容易受到噪声的影响。因此，对焦窗口的选择是非常必要的，良好的对焦窗口对自动对焦的准确性和对焦速度有显著提高。

传统的对焦窗口选择方案主要包括中央选择法和多区域选择法：①中央选择法，即选择图像中央一个M×N个像素的小区域，其中M和N为2的整数次方，其取值范围通常为32≤M，N≤256；②多区域选择法，即选择图像中具有代表意义的几个区域作为对焦窗口。此外，还有基于黄金分割点的对焦窗口和基于皮肤探测的对焦窗口等。

3、对成像目标/变焦镜头/图像探测器的反馈

自动对焦系统中的反馈控制关键是确定对焦评价函数的峰值位置，从而通过电机驱动成像目标移动、变焦镜头变焦或者图像探测器移动。这部分控制技术是整个对焦过程中相对简单的部分。

目前，还存在一种基于皮肤探测的自动对焦的算法(《基于皮肤探测的自动对焦》，田宜彬，徐之海，冯华君)，利用皮肤探测算法得到皮肤所在的图像窗口，在该窗口完成摄像头的对焦。但这个方案只针对人体皮肤检测并对焦，适用范围受到局限；没有结合物体跟踪算法与对焦算法，没有利用对焦物体在空间运动上是连续的这一重要优化信息。

发明内容

本发明所要解决的技术问题是：提供一种跟踪对焦方法及计算机可读存储介质，可同时实现跟踪和对焦，且效率高。

为了解决上述技术问题，本发明采用的技术方案为：一种跟踪对焦方法，包括：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距。

本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距。

本发明的有益效果在于：通过将物体跟踪窗口作为对焦窗口，减小了数据处理量；利用连续帧物体的深度信息不会有明显变化的原理，基于上一帧的焦距对当前帧的对焦窗口进行焦距调整，降低了对焦搜索开销，提高了对焦速度。本发明可高效地实现物体跟踪与对焦。

附图说明

图1为本发明的一种跟踪对焦方法的流程图；

图2为本发明实施例一的方法流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：将目标跟踪窗口作为对焦窗口；利用连续帧物体的深度信息不会有明显变化的原理，基于上一帧的焦距对当前帧的对焦窗口进行焦距调整。

请参阅图1，一种跟踪对焦方法，包括：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距。

从上述描述可知，本发明的有益效果在于：可高效地实现物体跟踪与对焦。

进一步地，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之前，进一步包括：

计算所述跟踪目标的颜色直方图；

判断所述颜色直方图是否不容易被跟踪；

若是，则将所述颜色直方图的颜色空间调整为最能区分跟踪目标与图像背景的颜色空间；

若否，则执行所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤。

由上述描述可知，可提高跟踪的准确性和稳定性。

进一步地，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之后，进一步包括：

判断所述跟踪窗口中的跟踪目标与上一帧图像中识别得到的跟踪目标是否一致；

若是，则继续执行获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤；

若否，则获取下一帧图像，并将下一帧图像作为第一帧图像，返回执行所述对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距的步骤。

由上述描述可知，通过对跟踪窗口进行后验识别，保证跟踪目标的一致性。

本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的步骤。

实施例一

请参照图2，本发明的实施例一为：一种跟踪对焦方法，可应用于摄像头，还可配合一些拥有自主转向能力的设备，如移动机器人、无人机等，在被跟踪物体不离开视野的情况下，高效地实现跟踪与对焦。包括如下步骤：

S1：从预设视频中获取第一帧图像，并对所述第一帧图像进行全局对焦，即对第一帧图像的全部区域进行对焦，并记录对焦后的焦距，得到所述第一帧图像的焦距。其中，所述预设视频可以为摄像头实时拍摄的视频流。优选地，可采用对焦深度法进行全局对焦。

S2：从对焦后的第一帧图像中识别得到跟踪目标。例如，根据物体识别算法，从对焦后的第一帧图像中识别得到待跟踪物体。

S3：计算所述跟踪目标的颜色直方图。本实施例中，计算基于HSV颜色空间的颜色直方图。

S4：判断所述颜色直方图是否不容易被跟踪，若是，则执行步骤S5，若否，则执行步骤S6。由于本实施例中采用Camshift算法进行目标跟踪，因此本步骤即判断所述颜色直方图是否不容易被Camshift算法跟踪。

根据“基于CamShift的自适应颜色空间目标跟踪算法”这篇文献可知，Camshift算法的颜色概率分布是依据HSV颜色空间的H分量统计得到，当跟踪目标呈现多色调，仅采用H分量的统计是不够的。在HSV颜色空间中，当S或者V值较小或者较大时，色调定义十分模糊，原Camshift算法在统计直方图时忽略了这些像素，这势必降低灰色、黑色等色调模糊的目标模型与背景模型的可分度，导致跟踪失败。

因此，当目标模型白色、灰色、黑色等模糊色调偏多，或者S、V值较小或较大(两端极值)，则颜色直方图不易于跟踪。

因此，本步骤可判断所述颜色直方图在HSV颜色空间中，跟踪目标的S分量和V分量的取值是否处于两端极值，若是，则判定为不容易被Camshift算法跟踪，若否，则判定为容易被Camshift算法跟踪。其中，两端极值的范围依据为，S分量和V分量值域各自正态分布α分位点两侧的取值，用户也可根据不同摄像头的规格对α进行调整。其中S～N(μ(S),1)，V～N(μ(V),1)，μ(S)、μ(V)分别为S、V的取值均值。

S5：将所述颜色直方图的颜色空间调整为最能区分跟踪目标与图像背景的颜色空间。

根据各颜色空间的特点以及它们与RGB空间之间的变化关系，颜色空间基本可分为RGB及线性颜色空间、归一化色品坐标、感知均匀空间、知觉颜色空间和组合颜色空间等五类颜色空间。因此，先通过初步筛选，建立候选颜色空间集。本实施例中，可设置RG，HS，CbCr，IQ四个颜色空间组成的候选颜色空间集，并且将跟踪目标与背景特征向量之间的平均距离作为颜色空间选择准则。因此，可先分别在上述各颜色空间中，计算所述跟踪目标与背景特征向量之间的平均距离，然后将颜色空间调整为平均距离最大值对应的颜色空间。

进一步地，也可先分别在上述各颜色空间中，利用Camshift算法对同一帧图像的物体进行跟踪，计算物体检测框与跟踪框的交并比，将颜色空间调整为交并比最大值对应的颜色空间。

S6：从所述预设视频中获取下一帧图像，并在所述下一帧图像中对所述跟踪目标进行跟踪，得到跟踪窗口。本实施例中采用Camshift算法进行目标跟踪。

S7：对所述跟踪窗口进行对焦；具体地，根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；由于对焦评价函数一般为单峰函数，且峰值两侧分别单调上升和单调下降，因此其最大值恰好对应最清晰的图像，因此，获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦。

即将跟踪窗口作为对焦窗口，然后在上一帧图像的焦距f的c邻域内调整焦距使对焦评价函数最优，完成对跟踪窗口的对焦。其中，c为预设的常数。

由于跟踪目标与摄像头间的距离不可能突变，即目标与摄像头的间距是连续变化的，因此基于上一帧图像的焦距进行焦距调整，极大地优化了焦距搜索过程。

S8：根据物体识别技术，判断所述跟踪窗口中的跟踪目标与上一帧图像中识别得到的跟踪目标是否一致，若是，则继续获取下一帧图像进行对跟踪目标的跟踪，即执行步骤S6，若否，则执行步骤S9。

S9：获取下一帧图像，并将下一帧图像作为第一帧图像，对其进行全局对焦，然后执行步骤S2。

其中，步骤S8-S9作为后验识别步骤可不执行，此时，步骤S7之后，继续获取下一帧图像进行目标跟踪和对焦，即继续执行步骤S6。

进一步地，步骤S7和S8可同时进行，当步骤S8中判断出跟踪目标不一致时，可直接获取下一帧图像重新执行上述整体流程。

本实施例同时实现了物体跟踪与对焦两个视觉任务。通过将物体跟踪窗口作为对焦窗口，减小了数据处理量；利用连续帧物体的深度信息不会有明显变化的原理(物体的空间运动是连续的)，降低了对焦搜索开销；利用Camshift算法跟踪物体色块再后验跟踪框内物体的方法，提升了整体算法的性能。

实施例二

本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距。

进一步地，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之前，进一步包括：

计算所述跟踪目标的颜色直方图；

判断所述颜色直方图是否不容易被跟踪；

若是，则将所述颜色直方图的颜色空间调整为最能区分跟踪目标与图像背景的颜色空间；

若否，则执行所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤。

进一步地，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之后，进一步包括：

判断所述跟踪窗口中的跟踪目标与上一帧图像中识别得到的跟踪目标是否一致；

若是，则继续执行获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤；

若否，则获取下一帧图像，并将下一帧图像作为第一帧图像，返回执行所述对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距的步骤。

综上所述，本发明提供的一种跟踪对焦方法及计算机可读存储介质，通过将物体跟踪窗口作为对焦窗口，减小了数据处理量；利用连续帧物体的深度信息不会有明显变化的原理(物体的空间运动是连续的)，降低了对焦搜索开销；利用Camshift算法跟踪物体色块再后验跟踪框内物体的方法，提升了整体算法的性能。本发明可高效地实现物体跟踪与对焦。另外，本发明也可以及时地发现物体跟踪过程中出现的误跟现象。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种跟踪对焦方法，其特征在于，包括：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；对焦评价函数为单峰函数，且峰值两侧分别单调上升和单调下降，其最大值对应最清晰的图像；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距；

所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之前，进一步包括：

计算所述跟踪目标的颜色直方图；

判断所述颜色直方图是否不容易被跟踪；

若是，则将所述颜色直方图的颜色空间调整为最能区分跟踪目标与图像背景的颜色空间；

若否，则执行所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤。

2.根据权利要求1所述的跟踪对焦方法，其特征在于，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之后，进一步包括：

判断所述跟踪窗口中的跟踪目标与上一帧图像中识别得到的跟踪目标是否一致；

若是，则继续执行获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤；

若否，则获取下一帧图像，并将下一帧图像作为第一帧图像，返回执行所述对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距的步骤。

3.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如下步骤：

获取第一帧图像，并对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距；

从对焦后的第一帧图像中识别得到跟踪目标；

获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口；

根据上一帧图像的焦距以及预设的邻域范围，对所述跟踪窗口进行焦距调整，并计算对焦评价函数；对焦评价函数为单峰函数，且峰值两侧分别单调上升和单调下降，其最大值对应最清晰的图像；

获取对焦评价函数最大值对应的焦距，并根据所述焦距，对所述跟踪窗口进行对焦，得到当前帧图像的焦距；

所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之前，进一步包括：

计算所述跟踪目标的颜色直方图；

判断所述颜色直方图是否不容易被跟踪；

若是，则将所述颜色直方图的颜色空间调整为最能区分跟踪目标与图像背景的颜色空间；

若否，则执行所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤。

4.根据权利要求3所述的计算机可读存储介质，其特征在于，所述获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口之后，进一步包括：

判断所述跟踪窗口中的跟踪目标与上一帧图像中识别得到的跟踪目标是否一致；

若是，则继续执行获取下一帧图像，并对所述跟踪目标进行跟踪，得到跟踪窗口的步骤；

若否，则获取下一帧图像，并将下一帧图像作为第一帧图像，返回执行所述对所述第一帧图像的全部区域进行对焦，得到第一帧图像的焦距的步骤。

Images