CN109196851A - 基于光流的自动聚焦 - Google Patents

Abstract

描述了一种方法，所述方法包括标识对象的特征集合，所述特征在由相机捕获的图像中被跟踪。所述方法也包括针对参考点创建矢量场。所述矢量指示所述参考点跨越所述图像的多于一个帧的位置变化的幅度和方向。所述方法还包括根据所述矢量的相同径向定向来标识所述对象的特征的离面移动的存在。所述方法还包括根据所述多个参考点之间的距离变化来确定所述对象的特征到/从所述相机的更近/更远移动的量。所述方法还包括鉴于所述对象的特征的更近/更远移动的所述量而调整相机的透镜的位置以使所述相机保持被聚焦在所述对象上。

Description

基于光流的自动聚焦

相关申请的交叉引用

本申请根据专利合作条约(PCT)的第8条款要求于2016年6月3日提交的美国非临时申请No.15/173,306的优先权，其内容通过引用并入在本文中。

技术领域

发明领域一般地涉及数码相机技术；并且，更具体地涉及基于光流(opticalflow)的自动聚焦技术。

背景技术

随着将复杂的处理智能集成到各种电子装置中的实现成本降低，设计者正在着眼于可想象地能用集成处理器和相机实现的新图像处理范例。具体地，拥有一些计算强度但同时可想象地能由例如可以与相机集成在一起的适度强大的处理器执行的新方法学尤其令人感兴趣。

发明内容

描述了一种方法，所述方法包括标识图像或成像场景中的对象的特征集合或相当于其上的参考点。对象可以类似地被称为图像或场景的被摄体。在图像中即由相机捕获的系列图像帧中跟踪特征或参考点。

方法也包括针对参考点创建矢量场。矢量指示参考点跨越系列图像帧的多于一个帧的位置变化的幅度和方向。方法还包括根据矢量的相同径向定向来标识对象或场景的特征或参考点的离面(out of plane)移动的存在。方法还包括根据多个参考点之间的距离变化来确定对象或场景的特征或参考点到相机/特征或参考点距相机的更近/更远移动的量。方法还包括鉴于对象或场景的特征或参考点的更近/更远移动的量而调整相机的透镜的位置以使相机保持被聚焦在对象或场景上。

公开了一种设备，所述设备包括用于标识对象或场景的特征或参考点集合的装置，所述特征在由相机捕获的图像中(即，在系列图像帧中)被跟踪。设备也包括用于为参考点创建矢量场的装置。矢量指示参考点跨越图像的多于一个帧的位置变化的幅度和方向。设备也包括用于根据矢量的相同径向定向来标识对象的特征的离面移动的存在的装置。设备也包括用于根据多个参考点之间的距离变化来确定对象的特征到相机/特征距相机的更近/更远移动的量的装置。设备也包括用于鉴于对象的特征的更近/更远移动的量而调整相机的透镜的位置以使相机保持被聚焦在对象上的装置。这种设备可以由相机或相机的适合部分或诸如智能电话或平板计算机的包括相机的装置来提供。

用于通过时间来跟踪图像的特征的系列图像帧中的帧可以是连续的，但是当然不是每个可用帧都需要被用于跟踪过程，跟踪过程因此可以使用表示成像对象或场景的时间进展的任何系列图像帧，例如每两个图像帧或后续图像帧的任意选择。

附图说明

以下描述和附图用于图示本发明的实施例。在附图中：

图1示出图像帧中的对象；

图2a、图2b和图2c描绘正在移动更靠近相机的对象；

图3a和图3b示出来自图2a至图2c中描绘的移动的矢量场；

图4a、图4b和图4c描绘正在移动更远离相机的对象；

图5a和图5b示出来自图4a至图4c中描绘的移动的矢量场；

图6示出对象的横向运动；

图7示出来自图6中的对象的移动的矢量场；

图8示出针对正在移动更靠近相机的对象的参考点的三角测量；

图9示出针对正在移动更远离相机的对象的参考的三角测量；

图10a示出基于光流的自动聚焦方法；

图10b示出可在上面执行图10a的方法的设备；

图11示出计算系统的实施例。

具体实施方式

光流是对照背景来识别图像内的识别对象的移动的成像过程。因为可对照图像的背景来对比对象，所以可跟随或者跟踪对象的移动。然而，传统上，光流过程已致力于根据所检测到的运动理解深度。也就是说，例如，通过光流方法跟踪对象已经用于根据对象的运动重建三维(3D)场景。

因为光流处理方法已经主要被应用于根据对象的跟踪运动理解深度，所以至今尚未知道光流方法被应用于自动聚焦。如本领域中已知的自动聚焦涉及相机透镜的移动以使对象保持在焦点上，因为对象与相机之间的距离已改变了。

因此，本申请涉及使用光流技术来跟踪正靠近或远离相机透镜移动的对象的运动。通过跟踪这种“离面”(“out-of-plane”)运动，可以按一定精度确定对象与相机透镜之间的距离变化，并且进而，可对相机透镜位置做出调整以使对象保持在焦点上。

图1示出人的面部101对照背景102的描绘。这里，人的面部101对应于被跟踪的对象。对象识别过程在本领域中通常是已知的，并且可以使用任何适合的对象识别过程来对照背景102识别人的面部101。背景102的面积通常可以对应于正由相机捕获的整体图像的帧的大小。在对象101被识别的情况下，或者仅在某些特征(例如，眼睛、鼻子、嘴等)被识别的情况下(即使没有较大对象被识别，诸如人的面部)，可以同样地容易标识用于对象/特征的参考点。这里，图1示出既在对象A-H(其环绕人的头部的轮廓)的周界处且在对象I-O(例如，眼睛、鼻子、嘴角等)内已标识的多个参考点A-O。这里，再次，可能的是可从仅仅对任何人的面部的具体特征(眼睛、鼻子、嘴角等)的识别中标识参考点A-O，而不用整体上识别特定人的面部(即，而不用整体上识别特定对象)。

图2a至图2c示出当人的面部移动更靠近相机时的参考点A-O的相对位置变化的序列。例如，图2a至图2c中的每一个可以对应于由相机在不同的时刻捕获的不同的图像帧。帧可以是紧接连续的或者在它们之间可以存在中间帧。

图2a对应于离相机透镜最远的面部的初始位置。图2b示出在已移动更靠近相机透镜之后的面部。图2c示出在已从图2b中的位置移动更靠近相机透镜之后的面部。一般而言，可将参考点A-O的相对位置表征为“外爆(explosion)”，因为它们从面部的中心轴线(其大致贯穿参考点L)径向移出。

图3a和图3b示出来自图2a至图2c的序列的参考点的矢量场。如本领域中所理解的矢量表示幅度和方向两者。图3a的矢量场示出当面部从图2a中的位置移动到图2b中的位置时的每个对应参考点的位置变化的幅度和方向。同样地，图3b的矢量场示出当面部从图2b中的位置移动到图2c中的位置时的每个对应参考点的位置变化的幅度和方向。

换句话说，图3a示出当对象已从其在图2a中的位置移动到其在图2b中的位置时的参考点的发散。同样地，图3b示出当对象已从其在图2b中的位置移动到其在图2c中的位置时的参考点的发散。可将当作为对象朝向透镜移动的结果的矢量正径向向外指向时的发散表征为正发散。

如可从图3a和图3b的矢量图中发现的，更靠近相机的运动可在对象的参考点向外外爆时标识，例如通过远离对象的中心的径向移动所举例说明的那样。也就是说，参考点的矢量通常径向向外指向。与外爆类比一致，在对象的外围处(在人的头部的周界附近)的参考点A-H展示比对象内的参考点I-O更大的径向运动。

也就是说，在人的头部的周界处的参考点A-H的矢量的幅度大于在人的头部的周界内的参考点I-O的矢量的幅度。一般而言矢量的幅度从对象的中心轴线移出变得越大。因此，展示最大正发散的矢量基本上标识正在移动更靠近相机的对象的外围。

相比之下，图4a至图4c示出当人的面部更远离相机移动时的参考点的相对位置变化的序列。图4a对应于如图2c中所描绘的面部的初始位置。图4b示出在已移动得更远离相机透镜之后的面部。图4c示出在已从图4b中的位置移动得甚至更远离相机透镜之后的面部。一般而言，可将参考点的相对位置表征为“内爆(implosion)”，因为它们朝向人的面部的中心轴线径向向内移动。

图5a和图5b示出来自图4a至图4c的序列的参考点A-O的矢量场。图5a的矢量场示出当面部从图4a中的位置移动到图4b中的位置时的每个对应参考点A-O的位置变化的幅度和方向。同样地，图5b的矢量场示出当面部从图4b中的位置移动到图4c中的位置时的每个对应参考点A-O的位置变化的幅度和方向。

因此，图5a示出当对象已从其在图4a中的位置移动到其在图4b中的位置时的参考点的发散。同样地，图5b示出当对象已从其在图4b中的位置移动到其在图4c中的位置时的参考点的发散。可将当作为对象远离相机透镜移动的结果的矢量正向内指向时的发散表征为负发散。

如可从图5a和图5b的矢量图中发现的，当对象的参考点向内内爆时可标识更远离相机的运动，例如像通过到对象的中心中的径向移动所举例说明的那样。也就是说，参考点A-O的矢量通常径向向内指向。与内爆类比一致，在对象A-H的外围处(在人的头部的周界附近)的参考点展示比对象内的参考点更大的移动。

也就是说，在人的头部的周边处的参考点A-H的矢量的幅度大于在人的头部的周边内的参考点I-O的矢量的幅度。再次，一般而言，矢量的幅度从对象的中心轴线移出变得更大并且在对象的外围处找到矢量族(即，具有最大幅度的矢量)的最大发散。因此，展示最大负发散的矢量基本上标识正在移动更远离相机的对象的外围。

作为对比，图6和图7与对象的面内(in-plane)运动有关。这里，图6示出沿着水平轴线的三个不同位置中的对象，因为它跨越图像帧从左向右横向地移动。图7示出参考点的对应矢量。矢量场701示出当对象从最左侧位置移动到中心位置时的对象的矢量场，并且矢量场702示出当对象从中心位置移动到最右侧位置时的对象的矢量场。注意，所有矢量反映在相同方向上相同量的位置变化，而不是向外外爆或者向内内爆。附加地，在对象的运动的前沿处的矢量(例如，对于参考点B、C、D)展示正发散，然而在对象的运动的后缘处的矢量(例如，对于参考点H、G、F)展示负发散。

因此，可通过计算反映参考点的相应位置随着时间的推移的发散的参考点随着时间的推移的矢量并且整体上识别矢量中的某些特性来将对象的面内运动与对象的离面运动区分开。更具体地，如果对象的矢量族基本上指向相同方向，则对象正在面内移动并且自动聚焦功能不必做出任何透镜位置调整(对象不在移动更靠近或更远离相机透镜)。

相比之下，如果对象的矢量族基本上径向向外指向则对象正在离面移动更靠近相机并且自动聚焦功能应该调整相机透镜以使更靠近相机的对象变得在焦点上。可替选地，如果对象的矢量族基本上径向向内指向，则对象正在离面移动更远离相机并且自动聚焦功能应调整相机透镜以使更远离相机的对象变得在焦点上。

在对象的参考点的移动的矢量跟踪揭示对象正在离面移动之后，进一步处理应该确定对象已离面移动多远，使得可确定使对象保持在焦点上的新透镜位置。从上文回想，展示最大发散的矢量族通常勾勒出随着对象离面移动该对象的外围。在实施例中，与对象的外围内的参考点一起采用三角测量来确定对象已离面移动多远。

也就是说，在实施例中，不同的参考点被用于不同的目的。具体地，在对象A-H的外围处的参考点被分析以标记对象是否正在离面移动，并且，如果是这样的话，则标记在哪一个方向上(更靠近相机或远离相机)。如果对象被视为正在离面移动，则对象I-O内的参考点用于确定对象已移动多远。

因此，在实施例中，外围参考点A-H被分析以识别面内移动(例如，如果外围参考点中的一些展示正发散同时其它外围参考点展示负发散)。如果面内移动被识别，则不需要重新定位相机透镜。同样地，外围参考点A-H也被分析以不仅识别离面运动而且识别离面运动的方向(例如，如果所有此类参考点展示正发散则移动朝向相机，然而，如果所有此类参考点展示负发散则移动远离相机)。

相比之下，如在图8和图9中观察到的，内参考点I-O可用于支持确定对象已朝向或远离相机移动多远的三角测量方法。图8示出用于确定在图2a至图2c的序列期间对象已朝向相机移动多远的三角测量，然而，图9示出用于确定在图4a至图4c的序列期间对象已远离相机移动多远的三角测量。

这里，图8a示出当对象出现在图2a中时参考点A-H的第一三角测量801、当对象出现在图2b中时参考点A-H的第二三角测量802以及当对象出现在图2c中时参考点A-H的第三三角测量803。

参考图8，参考点A-H中的不同参考点通过非交叉线连接以创建具有相应三角形腿的多个三角形。具体地，在图8的每个三角测量801、802、803中观察到十二个三角形腿(IJ、IK、JK、JL、KL、JM、KO、LM、LN、LO、MN、NO)。随着对象移动更靠近相机时，这些三角形腿中的每一个都在长度上增长。因此，可使三角形腿的长度与对象离相机的距离相关联，其中，更长的三角形腿对应于更靠近相机并且更短的三角形腿对应于更远离相机。

这里，可能需要相机的光学设计的一些知识(例如，相机透镜的放大率、相机透镜的焦距等)以精确地使三角形腿长度的变化与对象已向/从相机移动的距离相关联。例如，普通技术人员可容易地开发接受例如跨越所有三角形腿的三角形腿长度的平均百分比变化作为输入值并且提供对象已向/从相机透镜移动的距离作为输出值的数学表达式。

因此，从已知在焦点上的对象开始，如果对象移动更靠近相机则可精确地确定三角形腿中的增加长度并且使它与对象已在一方向上朝向相机移动的精确距离相关联。然后可使用此距离来确定用于相机透镜使对象保持在焦点上的新位置。

也就是说，自动聚焦例行程序可调整例如相机内的透镜的位置以有效地改变相机的焦距，使得对象仍然是在焦点上。这里，可进一步开发根据三角形腿长度变化来提供对象距离移动的前述数学表达式以根据增加的三角形腿长度变化来提供适当的透镜移动，以减少焦距距离。

类似地，图9a示出当对象出现在图4a中时参考点A-H的第一三角测量901、当对象出现在图4b中时参考点A-H的第二三角测量902以及当对象出现在图4c中时参考点A-H的第三三角测量903。

这里，从已知在焦点上的对象开始，如果对象移动更远离相机则可精确地确定三角形腿中的减小长度并且使它与对象已在一方向上远离相机移动的精确距离相关联。然后可使用此距离来确定用于相机透镜使对象保持在焦点上的新位置。

如果三角测量计算确定对象已远离相机沿着中心轴线移动一定距离，则自动聚焦例行程序将理解需要在某个方向上将透镜的位置改变某个量以使对象保持在焦点上。自动聚焦例行程序然后可相应地调整例如相机内的透镜的位置。这里，可进一步开发根据三角形腿长度变化来提供对象距离移动的前述数学表达式以根据减少的三角形腿长度变化向适当的透镜提供适当的透镜移动以对平面距离进行成像。

图10a示出如上所述的用于相机的自动聚焦方法。方法包括标识1001对象的特征集合，所述特征在由相机捕获的图像中被跟踪。方法还包括针对参考点创建1002矢量场，所述矢量指示参考点跨越图像的多于一个帧的位置变化的幅度和方向。方法还包括根据矢量的相同径向定向来标识1003对象的离面移动的存在。方法还包括根据多个参考点之间的距离变化来确定1004对象到相机/对象距相机的更近/更远移动的量。方法还包括鉴于对象的更近/更远移动的量而调整1005相机的透镜的位置以使相机保持被聚焦在对象上。

上述的基于光流的自动聚焦方法中的任一种可部分地或全部由“智能相机”执行，所述“智能相机”具有与相机本身集成在一起(例如，连同透镜、光电探测器等一起集成在相机封装内或者仅仅在相机封装外部)的处理智能。例如，相机可以包括集成处理器和存储器，其中存储器存储程序代码指令，所述程序代码指令由处理器执行来执行上面刚刚描述的基于光流的自动聚焦方法学中的任一种。可替选地或相结合地，可以利用可以为硬连线的和/或可编程的专用定制(例如，逻辑)电路来实现和/或增强自动聚焦方法学。这种电路再次可以与相机本身集成在一起(例如，在相机封装内)。在仍然其它的实施例中基于光流的自动方法学或其任何部分可以由在计算系统的主存储器或系统存储器之外操作的主CPU或应用处理器执行。

图10b示出可执行图10a的方法的智能相机的实施例。如在图10b中观察到的，相机1020包括处理器1021和存储器1022。用于诸如图10a的例行程序的自动聚焦例行程序的程序代码被存储在存储器1022中并且由处理器1021执行。处理器1021被耦合到图像传感器1023，所述图像传感器1023使得处理器能够处理正由相机1020观察的内容。处理器1021还被耦合到调整焦点的电机1025。可使用电机来调整焦点，所述电机改变聚焦透镜相对于图像传感器1023的位置，移动定位在相机透镜与图像传感器1023之间的一个或多个镜等。在执行图10a的方法时，例如，处理器1021处理由图像传感器1023感测的图像，并且响应于此，向电机1025提供输入刺激以依照自动聚焦例行程序改变透镜1024的焦距和图像传感器1023。其它相机实施例可以包括多于一个透镜。

图11提供计算系统的示例性描绘。在下面描述的计算系统的许多部件适用于具有集成相机和相关图像处理器的计算系统(例如，诸如智能电话或平板计算机的手持装置)。普通技术人员将能够容易地在两者之间刻划。

如在图11中观察到的，基本计算系统可以包括中央处理单元1101(其可以包括例如多个通用处理核心1115_1至1115_N以及设置在多核心处理器或应用处理器上的主存储器控制器1117)、系统存储器1102、显示器1103(例如，触摸屏、平板)、本地有线点对点链路(例如，USB)接口1104、各种网络I/O功能1105(诸如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，WiFi)接口1106、无线点对点链路(例如，蓝牙)接口1107以及全球定位系统接口1108、各种传感器1109_1至1109_N、一个或多个相机1110、电池1111、电源管理控制单元1112、扬声器和麦克风1113及音频编码器/解码器1114。

应用处理器或多核心处理器1150可以包括其CPU 1101内的一个或多个通用处理核心1115、一个或多个图形处理单元1116、存储器管理功能1117(例如，存储器控制器)、I/O控制功能(诸如前述外围控制集线器)1118。通用处理核心1115通常执行计算系统的操作系统和应用软件。图形处理单元1116通常执行图形密集功能以例如生成被呈现在显示器1103上的图形信息。存储器控制功能1117与系统存储器1102对接以向系统存储器1102写入数据/从系统存储器1102读取数据。电源管理控制单元1112通常控制系统1100的功耗。

触摸屏显示器1103、通信接口1104-1107、GPS接口1108、传感器1109、相机1110和扬声器/麦克风1113、编解码器1114中的每一个相对于在适当情况下也包括集成外围装置(例如，一个或多个相机1110)的整体计算系统都可被视为各种形式的I/O(输入和/或输出)。取决于实施方式，这些I/O部件中的各种部件可以被集成在应用处理器/多核心处理器1150上或者可以位于管芯外或者在应用处理器/多核心处理器1150的封装外部。

在实施例中相机1110使用如上面详细地描述的基于光流的自动聚焦技术。

本发明的实施例可以包括如上面所阐述的各种过程。可以用机器可执行指令具体实现这些过程。指令可用于使通用或专用处理器执行某些过程。可替选地，这些过程可以由包含用于执行这些过程的硬连线逻辑的具体硬件部件来执行，或者由编程计算机部件和定制硬件部件的任何组合来执行。

也可以将本发明的元件作为用于存储机器可执行指令的机器可读介质来提供。机器可读介质可以包括但不限于软盘、光盘、CD-ROM以及磁光盘、闪速存储器、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质或适合于存储电子指令的其它类型的介质/机器可读媒介。例如，本发明可以作为计算机程序被下载，可以经由通信链路(例如，调制解调器或网络连接)通过具体实现在载波或其它传播介质中的数据信号来将所述计算机程序从远程计算机(例如，服务器)转移到请求计算机(例如，客户端)。

在上述说明书中，已经参考本发明的具体示例性实施例描述了本发明。然而，将显然的是，在不脱离如所附权利要求中阐述的本发明的更广精神和范围的情况下，可以对其做出各种修改和变化。因此，将在说明性而非限制性意义上考虑本说明书和附图。

Claims (15)

1.一种计算机实现的方法，所述方法包括：

标识对象的参考点集合，所述参考点在由相机捕获的图像中被跟踪；

针对所述参考点创建矢量场，所述矢量指示所述参考点跨越所述图像的多于一个帧的位置变化的幅度和方向；

根据所述矢量的相同径向定向来标识所述参考点的离面移动的存在；

根据多个参考点之间的距离变化来确定所述参考点到所述相机/所述参考点距所述相机的更近/更远移动的量；

鉴于所述对象的特征的更近/更远移动的所述量而调整对所述相机的焦点的调整以使所述相机保持被聚焦在所述对象上。

2.根据权利要求1所述的方法，其中，所述径向定向是向外的并且所述离面移动朝向所述相机。

3.根据权利要求1所述的方法，其中，所述径向定向是向内的并且所述离面移动远离所述相机。

4.根据任一前述权利要求所述的方法，其中，具有相同径向定向的所述矢量包括在所述对象的外围处的所述参考点的那些矢量。

5.根据任一前述权利要求所述的方法，其中，所述方法还包括根据所述矢量在对象的轮廓上无净发散来识别所述对象的面内移动。

6.根据任一前述权利要求所述的方法，其中，所述确定更近/更远移动的量包括测量由所述多个参考点形成的三角形的腿的变化。

7.根据任一前述权利要求所述的方法，其中，所述多个参考点位于所述对象的所述外围内。

8.一种包含程序代码的机器可读存储介质，所述程序代码在由处理器处理时使根据权利要求1至7中的任一项所述的方法被执行。

9.一种设备，包括：

图像传感器；

包括与所述图像传感器相关联的至少一个透镜的组件；

耦合到所述透镜组件的电机；

耦合到所述电机的处理器；以及

耦合到所述处理器的存储器，所述存储器存储用于由所述处理器执行的程序代码指令，所述程序代码指令由所述处理器执行使方法被执行，在所述方法中由所述透镜组件到所述图像传感器上的聚焦是通过所述电机在所述方法的控制下的动作来调整的，所述方法包括：

标识对象的特征集合，所述特征在由所述图像传感器捕获的图像中被跟踪；

针对所述参考点创建矢量场，所述矢量指示所述参考点跨越所述图像的多于一个帧的位置变化的幅度和方向；

根据所述矢量的相同径向定向来标识所述对象的特征的离面移动的存在；

根据多个参考点之间的距离变化来确定所述对象的特征到所述相机/所述对象的特征距所述相机的更近/更远移动的量；

驱动所述电机以鉴于所述对象的特征的更近/更远移动的所述量而调整所述焦点。

10.根据权利要求8所述的设备，其中，所述径向定向是向外的并且所述离面移动朝向所述相机。

11.根据权利要求8所述的设备，其中，所述径向定向是向内的并且所述离面移动远离所述相机。

12.根据权利要求8至10中的任一项所述的设备，其中，具有相同径向定向的所述矢量包括在所述对象的外围处的所述参考点的那些矢量。

13.根据权利要求8至11中的任一项所述的设备，其中，所述方法还包括根据所述矢量在对象的轮廓上无净发散来识别所述对象的面内移动。

14.根据权利要求8至12中的任一项所述的设备，其中，所述多个参考点位于所述对象的所述外围内。

15.根据权利要求8至13中的任一项所述的设备，所述透镜组件包括聚焦透镜，并且所述电机移动所述聚焦透镜以调整所述焦点。