CN115278043A - 一种目标追踪方法及相关装置 - Google Patents

Abstract

公开了一种目标追踪方法，其特征在于，所述方法包括：电子设备开启目标追踪模式；电子设备根据电子设备的摄像头采集到的原始图像，确定待追踪的目标主体；电子设备在显示区中显示第一追踪画面，第一追踪画面中包括目标主体，目标主体位于摄像头的取景区域的第一位置；当目标主体移动位置，电子设备在显示区中显示第二追踪画面，第二追踪画面显示目标主体位于摄像头的取景区域的第二位置。这里，摄像头采集到的原始图像指的是摄像头可采集到的全部图像数据。本申请实施例基于对原始图像的图像范围对目标主体进行追踪，实现了更大的追踪范围。

Description

一种目标追踪方法及相关装置

技术领域

本申请涉及电子技术领域，尤其涉及一种目标追踪方法及相关装置。

背景技术

手机在长焦镜头上拍摄运动物体时，手持拍摄不容易对准拍摄到运动主体。若用户移动手机跟随运动主体的运动而移动，不仅很容易跟随不到运动主体，而且会导致画面的抖动。尤其在预览场景下，电子设备无法像离线程序一样缓存全部的视频图像信息并利用未来帧的图像帧运动路径给出当前帧最完美的(兼顾跟踪和稳定)输出框位置。

因此，如何保证实时输出的裁切框既能很好的框住运动主体，又能使输出图像流连续且足够稳定，是本领域技术人员正在研究的问题。

发明内容

本申请实施例提供了一种目标追踪方法及相关装置，可以对目标主体进行稳定追踪。

第一方面，本申请提供了一种目标追踪方法，该方法包括：电子设备开启目标追踪模式；电子设备根据电子设备的摄像头采集到的原始图像，确定待追踪的目标主体；电子设备在显示区中显示第一追踪画面，第一追踪画面中包括目标主体，目标主体位于摄像头的取景区域的第一位置；当目标主体移动位置，电子设备在显示区中显示第二追踪画面，第二追踪画面显示目标主体位于摄像头的取景区域的第二位置。

本申请实施例，电子设备可以对采集到的原始图像进行目标追踪，电子设备确定出原始图像中的目标主体后，当目标主体从第一位置移动到第二位置，电子设备的显示区中始终将该目标主体显示在画面中。这里，摄像头采集到的原始图像指的是摄像头可采集到的全部图像数据。本申请实施例基于对原始图像的图像范围对目标主体进行追踪，实现了更大的追踪范围。

在一种可能的实施方式中，电子设备未移动位置，摄像头的取景区域不变。本申请实施例对目标主体的追踪，可以是电子设备不动的情况下，对运动的目标主体进行追踪，这样能够提高目标主体显示在输出画面中的稳定性。其中，本申请实施例也可以是电子设备运动的情况下，对运动的目标主体进行追踪，将目标主体始终显示在输出画面中；也可以是电子设备运动的情况下，对不运动的目标主体进行追踪，将目标主体始终显示在输出画面中。

在一种可能的实施方式中，原始图像未经过防抖或去模糊处理，或者，原始图像包括摄像头的取景区域内的全部对象。本申请实施例基于对原始图像的图像范围对目标主体进行追踪，实现了更大的追踪范围。当目标主体位于原始图像的边缘区，电子设备也可以对该目标主体进行追踪。

在一种可能的实施方式中，方法还包括：电子设备在预览框中显示摄像头采集到的原始图像，预览框占用显示区的一部分或全部。其中，预览框可以是一种画中画框，叠加显示在显示区上，以供用户能够更直观看到原始图像和显示区的追踪画面的对比。预览框也可以占用显示区的全部画面，例如先在显示区的全部画面中显示预览框，然后再将预览框叠加显示在显示区上。

在一种可能的实施方式中，电子设备根据电子设备的摄像头采集到的原始图像，确定待追踪的目标主体包括：电子设备接收用户在预览框中的第一操作，第一操作指示用户选择的目标主体；电子设备根据第一操作，确定待跟踪的目标主体。其中，预览框中显示摄像头采集的原始图像，则预览框中显示的图像中包括目标主体，电子设备可以基于用户针对预览框的第一操作确定出目标主体，这里的第一操作例如可以是针对目标主体的显示位置的点击操作。即电子设备可以基于用户操作确定目标主体。

在一种可能的实施方式中，电子设备根据电子设备的摄像头采集到的原始图像，确定待追踪的目标主体包括：电子设备基于预设的目标检测算法，对电子设备的摄像头采集到的原始图像进行自动目标检测，确定待追踪的目标主体。这里，预设的目标检测算法可以是针对特定类别的对象，例如针对检测人物的目标检测算法，例如针对检测动物的目标检测算法，例如针对检测物体的目标检测算法，例如针对检测运动对象的目标检测算法，等等。

在一种可能的实施方式中，预览框中还包括输出框，输出框中的图像对应显示区所显示的画面。该输出框用于指示当前的显示区显示的画面是在原始图像中的哪一个区域。

在一种可能的实施方式中，方法还包括：电子设备在输出框中确定引导点，引导点指示目标主体的显示位置；电子设备根据引导点，将位于第一位置的目标主体显示在第一追踪画面，或将位于第二位置的目标主体显示在第二追踪画面。这里，引导点是用于确定目标主体在输出框的显示位置，若引导点是在输出框的中心点，则在第一追踪画面中目标主体显示在第一追踪画面的中心位置，在第二追踪画面中目标主体显示在第二追踪画面的中心位置。这样，电子设备能够使目标主体稳定显示在引导点所在的位置，实现稳定追踪的效果。

在一种可能的实施方式中，电子设备在输出框中确定引导点包括：电子设备根据默认设置确定输出框中的引导点，或者电子设备接收用户的第二操作，用户的第二操作指示用户选择的引导点在输出框中的位置。这里提供了电子设备可以通过默认设置和用户操作来确定引导点的方式。

在一种可能的实施方式中，电子设备根据引导点，将位于第一位置的目标主体显示在第一追踪画面，或将位于第二位置的目标主体显示在第二追踪画面包括：电子设备确定目标主体的运动路径；电子设备基于目标主体的运动路径确定目标主体和引导点的差值折线；电子设备确定原始图像中的背景的运动路径；电子设备基于背景的运动路径和差值折线，确定平滑路径；电子设备将原始图像基于平滑路径进行wrap处理；电子设备在显示区中显示warp处理后的图像，显示区显示的画面对应输出框中的图像。这里描述了电子设备实现对目标主体进行稳定追踪的算法原理。基于前景驱动背景的思想，电子设备通过目标主体的运动驱动背景运动，来使得目标主体移动到输出画面中。在对背景的平滑路径进行求解的过程中，电子设备确定目标主体运动路径和引导点的差值折线，将该差值折线作为背景平滑的引导参考项，得到背景的平滑路径。基于该平滑路径对电子设备采集到的原始图像进行warp，能够使目标主体稳定显示在输出框中的引导点的位置。电子设备对背景的平滑路径的一次求解，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像的边界)。实现了在进行背景平滑的同时实现对目标主体的追踪，兼顾了追踪结果的跟随性和平滑性。

在一种可能的实施方式中，电子设备开启目标追踪模式包括：电子设备检测到用户的第三操作，第三操作包括调高变焦倍率的操作或者用户直接开启目标追踪模式的开关。这里提供了电子设备基于用户操作开启目标追踪模式的方式。

在一种可能的实施方式中，调高变焦倍率的操作指示用户选择的显示倍率；电子设备根据显示倍率在显示区中显示第一追踪画面或第二追踪画面。

在一种可能的实施方式中，摄像头为长焦摄像头。一般来说，在高倍率的显示倍率下，电子设备使用长焦摄像头采集图像数据。

在一种可能的实施方式中，调高后的变焦倍率大于预设倍率。预设倍率例如可以是15倍。

在一种可能的实施方式中，当第二位置为摄像头的取景区域的边缘位置，第二追踪画面中包括目标主体。由于电子设备对背景的平滑路径的一次求解，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像的边界)。这样，即使目标主体在原始图像中的边缘位置，电子设备也同样可以对该目标主体进行追踪，解决了由于目标主体的位置在电子设备的拍摄区域的边缘，电子设备即使采集到了目标主体的图像也无法对目标主体进行追踪的问题。

第二方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器；该一个或多个存储与一个或多个处理器耦合；该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令；当该计算机指令在该处理器上运行时，使得该电子设备执行上述任一方面任一种可能的实现方式中的目标追踪方法。

第三方面，本申请实施例提供了一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得通信装置执行上述任一方面任一项可能的实现方式中的目标追踪方法。

第四方面，本申请实施例提供了一种目标追踪方法，该方法包括：启动目标追踪；采集原始图像；根据原始图像，确定待追踪的目标主体；输出第一追踪画面的信息，第一追踪画面中包括目标主体，目标主体位于取景区域的第一位置；输出第二追踪画面的信息，第二追踪画面显示目标主体位于取景区域的第二位置。

第五方面，本申请实施例提供了一种摄像头模组，其特征在于，包括输入单元、输出单元和至少一个摄像头；

输入单元用于根据电子设备的指示启动目标追踪；

至少一个摄像头用于采集原始图像，以及根据原始图像，确定待追踪的目标主体；

输出单元用于输出第一追踪画面的信息，第一追踪画面中包括目标主体，目标主体位于取景区域的第一位置；以及，输出第二追踪画面的信息，第二追踪画面显示目标主体位于取景区域的第二位置。

在一些实施方式中，至少一个摄像头中包括处理单元，至少一个摄像头还用于通过处理单元确定目标主体的运动路径；至少一个摄像头还用于通过处理单元基于目标主体的运动路径确定目标主体和引导点的差值折线；至少一个摄像头还用于通过处理单元确定原始图像中的背景的运动路径；至少一个摄像头还用于通过处理单元基于背景的运动路径和差值折线，确定平滑路径；至少一个摄像头还用于通过处理单元将原始图像基于平滑路径进行wrap处理；输出单元还用于在显示区中输出warp处理后的图像，显示区显示的画面对应输出框中的图像。

第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的目标追踪方法。

附图说明

图1a和图1b为本申请实施例提供的一种目标追踪方法的原理示意图；

图2为本申请实施例提供的一种电子设备的结构示意图；

图3a和图3b为本申请实施例提供的一组应用界面示意图；

图4a至图4f为本申请实施例提供的又一组应用界面示意图；

图5a和图5b为本申请实施例提供的又一组应用界面示意图；

图6a和图6b为本申请实施例提供的又一组应用界面示意图；

图7a至图7d为本申请实施例提供的又一组应用界面示意图；

图8a至图8d为本申请实施例提供的又一组应用界面示意图；

图9为本申请实施例提供的一种目标追踪方法的方法流程图；

图10为本申请实施例提供的又一种目标追踪方法的原理示意图；

图11为本申请实施例提供的又一种目标追踪方法的原理示意图；

图12a和图12b为本申请实施例提供的又一种目标追踪方法的原理示意图；

图13为本申请实施例提供的又一种目标追踪方法的方法流程图；

图14为本申请实施例提供的又一种目标追踪方法的方法流程图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。术语“中间”、“左”、“右”、“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。

本申请实施例中，防抖和追踪是实现对实时采集的图像中的目标进行稳定追踪的两大技术。其中，防抖是基于一个目标点或目标区域对采集的图像进行裁切，使该目标点或目标区域始终在画面的某一个区域内以平滑的方式运动，从而使显示的画面稳定；追踪是通过主体检测识别或特征匹配等算法在实时采集的图像中确定目标主体，为了方便呈现，可以对采集的图像进行裁切，使该目标主体始显示在输出画面中(例如中心位置)。

防抖和追踪是分离的算法，若先实现跟踪再实现防抖，由于在高倍率下，轻微的手抖也会被放大为预览画面的巨大跳变，因此在未做防抖的原始输入图像上执行主体检测算法，会使检测目标主体的准确率大大降低，难以根据原始输入图像上的位置准确识别前后帧上的同一个主体。

若先实现防抖再实现跟踪，在已经进行防抖的图像上执行主体检测算法，可以提高检测的准确率。但是由于防抖时对原始输入图像进行了裁切，导致追踪时的检测和可活动范围都受到了限制，难以利用原始输入图像更大的边界。而且经过追踪的二次裁切后，目标主体的路径由于剪裁框跳变重新变得不平滑，还需要二次平滑，导致波峰更加滞后，造成延迟。

如图1a所示，最外围的图像框①为电子设备100通过摄像头采集到的原始图像，由于电子设备100在采集图像时大部分时候与被拍摄物体不是直直的拍摄，电子设备100需要先对采集到的原始图像进行图像投影变换(image warp)，使图像呈现一个平直性。例如，电子设备100的摄像头在一个侧方向上采集二维码图像，电子设备100需要先对采集到的二维码图像进行warp变换，则可以得到一个正方向上的二维码图像，从而实现对该二维码的识别。

图1a中，虚线框②为电子设备100将原始图像进行warp变换得到的图像。电子设备100针对该wrap后的图像进行防抖处理，最终进行防抖裁剪后的图像框为图1a中的图像框③。可以看出，电子设备100对原始图像进行防抖处理后，能够用于进行追踪处理的图像范围变为图像框③所示的范围，当目标主体在位置一时，即使电子设备100采集到了目标主体的图像，也无法追踪到该目标主体，即由于进行防抖处理后图像范围变小导致在原始图像上可见的目标主体也无法进行追踪；当目标主体在位置二时，电子设备100才能够追踪到该目标主体。可以看出，电子设备100在对目标主体进行追踪检测时无法利用原始图像提供的更大的范围。

并且，电子设备100对目标主体进行追踪需要对目标主体所在的区域进行进一步的裁剪，由于不同图像帧的主体识别一般存在位置偏差，会导致裁剪区域产生抖动。为了防止裁剪后的相邻图像帧由于裁剪区域的不同产生跳变，又需要对裁剪后的图像进行第二次的防抖平滑。如图1b所示，图1b中，路径1为二次裁剪过后的显示图像相对于在原始图像上的运动路径，路径2为理想情况下二次裁剪过后的显示图像的防抖平滑路径，路径3为实际情况下二次裁剪过后的显示图像的防抖平滑路径。可以看出，实际上这样的处理方式会导致波峰迟滞，造成图像显示延迟，用户体验不佳。

本申请实施例，提出了一种基于路径优化的目标追踪方法，基于前景驱动背景的思想，电子设备100通过目标主体(前景)的运动驱动背景运动，来使得目标主体移动到输出画面中。在对背景的平滑路径进行求解的过程中，电子设备100将目标主体运动路径作为背景平滑的引导参考项，以得到背景的平滑路径。电子设备100基于该平滑路径对电子设备采集到的原始图像进行warp，能够使目标主体稳定显示在输出画面中。电子设备100对背景的平滑路径的一次求解，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像的边界)。实现了在进行背景平滑的同时实现对目标主体的追踪，兼顾了追踪结果的跟随性和平滑性。

本申请实施例可以对实时采集的图像数据进行目标追踪，追踪指的可以是拍摄设备不动的情况下，对运动对象进行追踪，将该运动对象始终显示在输出画面中；也可以是拍摄设备运动的情况下，对运动对象进行追踪，将该运动对象始终显示在输出画面中；也可以是拍摄设备运动的情况下，对不运动对象进行追踪，将该不运动对象始终显示在输出画面中。例如在相机应用的预览界面，可以在不移动拍摄设备的情况下实时追踪目标主体，获取到包含该目标主体的图片或视频。

下面首先介绍本申请实施例中涉及的电子设备100，电子设备100包括拍摄设备。

参见图2，图2示出了本申请实施例提供的示例性电子设备100的结构示意图。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请的一些实施例中，显示屏194中显示有系统当前输出的界面内容。例如，界面内容为相机应用提供的预览界面，该预览界面中可以显示摄像头193实时采集的图像，该预览界面中也可以显示摄像头193实时采集的经过GPU处理后的图像。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在一些实施例中，摄像头193中可以包括长焦摄像头、广角摄像头、超广角摄像头等类型。电子设备100通过摄像头193实时采集图像，在不同的放大倍率下可以使用不同的摄像头采集图像，例如，在0.5x～1x的放大倍率下，可以使用超广角摄像头，通过超广角摄像头采集到的原始图像为0.5x的放大倍率的图像，0.5x～1x的放大倍率下的显示图像是将原始图像(0.5x的放大倍率的图像)进行裁剪得到的；在1x～3.5x的放大倍率下，可以使用广角摄像头，通过广角摄像头采集到的原始图像为1x的放大倍率的图像，1x～3.5x的放大倍率下的显示图像是将原始图像(1x的放大倍率的图像)进行裁剪得到的；在3.5x以上的放大倍率下，可以使用长焦摄像头，通过长焦摄像头采集到的原始图像为3.5x的放大倍率的图像，3.5x以上的放大倍率下的显示图像是将原始图像(3.5x的放大倍率的图像)进行裁剪得到的。

可选的，不论是使用长焦摄像头、广角摄像头、超广角摄像头，电子设备100均可以通过将原始图像进行裁剪的方式得到任意放大倍率的显示图像。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。

陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(电子设备的X轴、Y轴和Z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。

气压传感器180C用于测量气压。

磁传感器180D包括霍尔传感器。

加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。在本申请一些可选的实施例中，加速度传感器180E可用于捕获用户手指部位接触显示屏(或者用户手指敲击电子设备100的后壳后侧边框)时生成的加速度值，并将该加速度值传输给处理器，以使得处理器识别用户通过哪个手指部位输入用户操作。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。

环境光传感器180L用于感知环境光亮度。

指纹传感器180H用于采集指纹。

温度传感器180J用于检测温度。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。

骨传导传感器180M可以获取振动信号。

按键190包括开机键，音量键等。马达191可以产生振动提示。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和电子设备100的接触和分离。

下面结合应用场景，介绍本申请中提供的一种目标追踪方法在电子设备100的显示界面上的实现形式。

首先，对电子设备100启动目标追踪功能的显示界面进行介绍。

如图3a所示，图3a示出了电子设备上用于陈列应用程序列表的示例性用户界面。图3a包括状态栏201和显示界面202，其中状态栏201可包括：移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符203、无线高保真(wireless fidelity，Wi-Fi)信号的一个或多个信号强度指示符204，蓝牙指示符205，电池状态指示符206、时间指示符207。当电子设备的蓝牙模块为开启状态(即电子设备为蓝牙模块进行供电)时，电子设备的显示界面上显示蓝牙指示符205。

显示界面202陈列了多个应用图标。其中，显示界面202中包括相机208的应用图标。当电子设备检测到作用于相机208的应用图标的用户操作，电子设备显示相机应用提供的应用界面。

参考图3b，图3b示出了一种可能的相机应用提供的用户界面。相机208的应用界面如图4b所示，该应用界面可以包括：显示区210、倍率调节区211、功能栏212、模式选择区213、图库图标214、拍摄图标215、切换图标216。

显示区210的显示画面为电子设备通过摄像头实时采集的图像，此时显示区210中显示画面包括一个人物的部分身体、一颗树木和树木上的一个铃铛。电子设备当前使用的摄像头可以是相机应用设置的默认摄像头，电子设备当前使用的摄像头还可以是上一次关闭相机应用时使用的摄像头。

倍率调节区211，也可称为焦距调节区，用于调节摄像头的拍摄焦距，从而调节显示区210的显示画面的显示倍率。倍率调节区211中包括调节滑块211A，该调节滑块211A用于指示显示倍率，调节滑块211A当前为5x，指示了当前的显示倍率为5倍。用户可以通过在倍率调节区211中滑动调节滑块211A，放大或缩小显示区210的显示画面。例如向上滑动调节滑块211A，显示区210的显示画面的显示倍率放大，可以使目前5倍率下的人物不在显示区中；向下滑动调节滑块211A，显示区210的显示画面的显示倍率减少，可以使目前5倍率下的人物能完整显示在显示区中。

在一些实施例中，不限于通过倍率调节区211对显示区210的显示画面的显示倍率进行调节，用户还可以使用其他快捷方式调节显示区210的显示画面的显示倍率。例如在显示区210中，分开两指可放大显示倍率，合拢两指可减少显示倍率。

功能栏212，用于提供相机应用的快捷功能，包括例如开启智慧视觉(图标212A)、切换闪光灯(图标212B)、开启AI摄影大师(图标212C)、切换色彩模式(图标212D)、开启相机设置界面(图标212E)等。

模式选择区213，用于提供不同的拍摄模式，根据用户选择的拍摄模式不同，电子设备启用的摄像头以及拍摄参数也不同。可以包括夜景模式、人像模式、拍照模式、录像模式、专业模式以及更多。图3b中拍照模式的图标被标记，用于提示用户当前的模式为拍照模式。其中，

在夜景模式下电子设备100可以提升亮部和暗部的细节呈现能力，控制噪点，并呈现出更多的画面细节。在拍照模式下电子设备100适应大部分的拍摄场景，可以根据当前的环境自动调整摄影参数。在录像模式电子设备100可以用于拍摄一段视频。当检测到作用于“更多”的用户操作时，响应于该操作，电子设备可显示其他选择模式，例如全景模式(实现自动拼接，电子设备将连续拍摄的多张照片拼接为一张照片，实现扩大画面视角的效果)、HDR模式(自动连拍欠曝光、正常曝光、过度曝光三张照片、并选取最好的部分合成为一张照片)等等。

当检测到作用于模式选择区303中任一模式的应用图标(例如夜景模式、拍照模式、录像模式等等)的用户操作时，响应于该操作，电子设备100可以进入对应的模式。相应的，所述显示区210显示的图像为当前模式下处理后的图像。

模式选择区213中的各模式图标不限于虚拟图标，也可以为通过拍摄设备/电子设备上部署的物理按键进行模式的选择，从而使得拍摄设备进入相应的模式。

图库图标214，当检测到作用于图库图标214的用户操作时，响应于该操作，电子设备可进入电子设备100的图库，所述图库中可以包括已拍摄的照片和视频。其中，图库图标214可以显示为不同的形式，例如当电子设备保存摄像头当前采集的图像后，图库图标214中显示该图像的缩略图。

拍摄图标215，当检测到作用于拍摄图标215的用户操作(例如触控操作、语音操作、手势操作等)时，响应于该操作，电子设备100获取显示区210当前显示的图像，并保存在图库中。其中，可以通过针对于图库图标214的用户操作(例如触控操作、手势操作等)进入图库。

切换图标216，可以用于对前置摄像头和后置摄像头的切换。其中，前置摄像头的拍摄方向与用户使用的电子设备的屏幕的显示方向相同，后置摄像头的拍摄方向与用户使用的电子设备的屏幕的显示方向相反。

基于上述图3b中相机应用提供的用户界面，当电子设备100接收到针对于该用户界面的用户操作，电子设备100触发目标追踪模式，示例性的显示如图4a所示的界面。

其中，该用户操作可以是用户向上滑动倍率调节区211中的调节滑块211A，显示区210的显示画面的显示倍率放大，当电子设备100的显示倍率放大到不小于预设倍率，电子设备100触发目标追踪模式，示例性的显示如图4a所示的界面。其中，预设倍率例如可以是15倍。

可选的，该用户操作可以是用户在显示区210中分开两指以放大显示倍率，当电子设备100的显示倍率放大到不小于预设倍率，电子设备100触发目标追踪模式，示例性的显示如图4a所示的界面。

不限于上述触发目标追踪模式的方式，本申请实施例还可以通过其他的方式使电子设备100触发目标追踪模式。

可选的，图3b中还可以包含触发目标追踪模式的快捷图标，该用户操作可以是针对该快捷图标的点击操作，电子设备100接收到该点击操作，触发目标追踪模式，示例性的显示如图4a所示的界面。

如图4a所示，图4a示例性的示出了一种触发电子设备100开启目标追踪模式的应用界面。当电子设备100的显示倍率不小于预设倍率，电子设备100显示的应用界面可以为图4a所示的应用界面。该应用界面中，倍率调节区211中的调节滑块211A当前为15x，指示了当前的显示倍率为15倍。

图4a所示的应用界面中包括显示区220、预览框221以及引导标语222，其中，由于当前的显示倍率为15倍，则显示区220的显示画面相比于图3b中的显示区210的显示画面放大了15倍。

预览框221中显示的画面为摄像头实时采集的原始图像，预览框221为显示区220里的一个显示区域，一般悬浮在显示区220中的显示画面上。可以看出，预览框211中显示的图像比5倍率下的显示的图像范围(如图3b中显示区210的显示图像)更大。一般来说，显示倍率为5倍时显示的图像不是摄像头采集的原始图像，而是将摄像头采集的原始图像进行裁切后显示的图像。这里，预览框中显示的图像为摄像头实时采集的原始图像，表示出本申请实施例中的追踪范围是摄像头采集到的原始图像的范围。

图4a中，此时预览框221中显示的画面包括一个人物(完整的)、一颗树木和树木上的一个铃铛。预览框221中虚线框221B中的画面为显示区220显示的画面，指示了当前显示区220显示的画面为摄像头实时采集到的画面的哪一个部分。由于当前的显示倍率为15倍，此时显示区220中显示的图像包括树木和树木上的铃铛，没有人物。退出图标221A用于关闭预览框221，当电子设备100检测到针对该退出图标221A的用户操作，电子设备100关闭预览框221，可选的，电子设备100同时关闭预览框221和引导标语222。

引导标语222提供了一种示例性的开启目标追踪模式的方式，显示文本“单击虚框可追踪目标”以提示用户，该虚框即为虚线框221B。

在一些实施例中，虚线框221B基于不同的显示形式(显示颜色、显示形状)可以指示不同的信息。举例来说，当虚线框221B的显示颜色为第一颜色，则表示当前电子设备100没有检测到目标主体，可选的，引导标语222可以显示文本“没有检测到目标”以提示用户；当虚线框221B的显示颜色为第二颜色，则表示当前电子设备100检测到了目标主体，可选的，引导标语222可以显示文本“单击虚框可追踪目标”以提示用户。

其中，单击虚框(虚线框221B)可追踪目标只是一种开启目标追踪模式的方式，与虚线框221B中的显示画面并没有关系。在图3b中，当电子设备100检测到的目标主体为人物，虚线框221B中并没有该人物的画面，当用户单击该虚线框221B，电子设备100对人物进行追踪。

在一些实施例中，当电子设备100检测到了目标主体，电子设备100可以在预览框221中对该目标主体进行突出显示，例如显示另一个虚线框将该目标主体框柱，以提示用户电子设备100检测出的目标主体。

基于上述图4a，电子设备100可以开启目标追踪模式。参考图4b，图4b示例性示出了一种目标追踪模式的应用界面。

在一些实施例中，当电子设备100检测到针对虚线框221B的用户操作，电子设备100开启目标追踪模式。在一些实施例中，当电子设备100检测到针对预览框221中的目标主体的用户操作，电子设备100开启目标追踪模式。在一些实施例中，图4a中还可以包含开启目标追踪模式的快捷图标，电子设备100接收到针对该快捷图标的点击操作，开启目标追踪模式，示例性的显示如图4b所示的应用界面。

图4b所示的应用界面中包括显示区230、预览框221以及引导标语223，其中，

预览框221中显示的画面为摄像头实时采集的原始图像。电子设备100开启目标追踪模式，电子设备100识别出摄像头当前采集的图像中的目标主体(即为预览框211中显示的图像中的人物)，并在预览框221中显示实线框221C，其中，实线框221C中的画面为显示区230显示的画面，指示了当前显示区230显示的画面为摄像头实时采集到的画面的哪一个部分，本申请实施例中，实线框也可称为画面输出框。图4b中此时人物显示在显示区230中偏左的区域。这里，由于目标主体在预览框211中显示的画面的左边缘的位置，则实线框221C选取在预览框221中左边缘的位置，在实线框211C中，目标主体在实线框221C中偏左的区域。当目标主体进行移动，实线框221C的显示位置跟随目标主体进行移动。

引导标语223提供了一种退出目标追踪模式的方式，提示用户“单击实框可退出追踪”，该实框即为实线框221C。当电子设备100检测到针对实线框221C的用户操作，电子设备100退出目标追踪模式，可选的，此时电子设备100显示如图4a所示的用户界面；可选的，此时电子设备100同时关闭预览框221和引导标语223，并在显示区230中显示如图4a中的显示区220的显示画面。

可以看出，图4a中的显示区220显示的是将摄像头采集到的图像放大到15倍后的图像，截取的是摄像头采集到的图像的最中心位置的部分。此时当检测到作用于拍摄图标215的点击操作时，电子设备100获取显示区220当前显示的图像。而图4b中开启了目标追踪模式，在摄像头采集到的图像为相同图像(图4a和图4b中预览框221中为相同图像)的情况下，显示区230显示的图像是摄像头采集到的图像中包括目标主体的部分。此时，当检测到作用于拍摄图标215的点击操作时，电子设备100获取显示区230当前显示的图像。这样，能够达到不用移动电子设备100就可以获取到目标主体的图片/视频的效果，实现了对目标主体的追踪。

以上对电子设备100启动目标追踪功能的显示界面进行了介绍。其中，本申请实施例对如何启动目标追踪功能的显示界面和用户操作不做限定。

在目标追踪模式下，电子设备100不移动，目标主体进行移动，电子设备100可以对目标主体进行追踪。如图4c所示，在图4c中，预览框221中显示的画面为摄像头实时采集的原始图像。相比于图4b中采集到的图像，由于电子设备100没有移动，则预览框221中的背景(树木)没有变化，可以看出图4c中的人物相比于图4b中向右边移动了一段距离，但是实线框221D和实线框221C相对于预览框221的位置相同。实线框221D中的画面为显示区240显示的画面，指示了当前显示区240显示的画面为摄像头实时采集到的画面的哪一个部分，此时人物显示在显示区240中正中间的区域。这里，实线框221D选取在预览框221中左边缘的位置，目标主体在实线框221D中处于正中间的区域。

在电子设备100不移动的情况下，目标主体继续进行移动，如图4d所示，在图4d中，相比于图4c中采集到的图像，由于电子设备100没有移动，则预览框221中的背景(树木)没有变化，可以看出图4d中的人物相比于图4c中向右边移动了一段距离，并且实线框221E跟随着目标主体(人物)进行移动，即目标主体在实线框221E中仍然处于正中间的区域。实线框221E中的画面为显示区250显示的画面，此时人物显示在显示区250中正中间的区域。

在电子设备100不移动的情况下，目标主体继续进行移动，如图4e所示，在图4e中，相比于图4d中采集到的图像，由于电子设备100没有移动，则预览框221中的背景(树木)没有变化，可以看出图4e中的人物相比于图4d中向右上方向移动了一段距离，并且实线框221F跟随着目标主体(人物)进行移动，即目标主体在实线框221F中仍然处于正中间的区域。实线框221F中的画面为显示区260显示的画面，此时人物显示在显示区260中正中间的区域。

在电子设备100不移动的情况下，目标主体继续进行移动，如图4f所示，在图4f中，相比于图4e中采集到的图像，由于电子设备100没有移动，则预览框221中的背景(树木)没有变化，可以看出图4f中的人物相比于图4e中向右边移动了一段距离，此时人物已经移动到了电子设备100的拍摄范围的边缘，实线框221G跟随着目标主体(人物)进行移动，由于目标主体在预览框211中显示的画面的右边缘的位置，则实线框221G选取在预览框221中右边缘的位置，在实线框211G中，目标主体在实线框221G中偏右的区域。实线框221G中的画面为显示区270显示的画面，此时人物显示在显示区270中偏右的区域。

基于上述图4b～图4f，可以看出，在目标追踪模式下，即使电子设备100不移动(预览框内的树木位置一直没有变化)，电子设备100也可以自动追踪目标主体，并将包含目标主体的图像数据始终显示在显示区内。

可以看出，对于图4b～图4f来说，电子设备100倾向于将目标主体始终显示在显示区的正中间的区域。这里，电子设备100将输出框的中心坐标作为引导点，电子设备100确定出引导点后，始终将目标主体的引导显示在该引导点的位置，达到将目标主体显示在显示区的正中间的区域的效果。输出框的中心和比例相对于电子设备100采集到的原始图像是固定的，输出框的大小与电子设备100的显示倍率有关，电子设备100的显示倍率越大，输出框相对于原始图像越小；电子设备100的显示倍率越小，输出框相对于原始图像越大。

在一些实施例中，引导点是一个针对电子设备100采集到的原始图像的像素坐标点，将引导点选取在输出框中，则电子设备100可以将目标主体始终显示在输出框中的该引导点的位置。

在图4b～图4f中，由于图4b中目标主体的位置在电子设备100的拍摄范围的左边缘的位置，结合到当前的显示倍率(15倍)以及显示区的显示比例大小，目标主体无法显示在显示区的正中间，此时目标主体显示在显示区的左边缘的位置。当目标主体不断向右移动到电子设备100的拍摄范围之内，例如图4c～图4e，电子设备100对目标主体进行追踪，并将目标主体显示在显示区的正中间的区域。当目标主体继续向右移动，移动到电子设备100的拍摄范围的右边缘的位置，如图4f，结合到当前的显示倍率(15倍)以及显示区的显示比例大小，目标主体无法显示在显示区的正中间，此时目标主体显示在显示区的右边缘的位置。

可以理解的，电子设备100倾向于将目标主体始终显示在显示区的正中间的区域，在实际情况中，由于目标主体的运动速度较快、电子设备100的晃动程度较大、电子设备100的数据处理速度较慢等等因素，会导致实际显示情况没有如图4b～图4f所示的理想化，例如是在如图4c～图4e的情况下，目标主体也不一定稳定的显示在显示区的正中间，目标主体可以是在一定的误差范围内显示在围绕正中间的上下左右区域附近。

在一些实施例中，如图5a所示，当电子设备100检测到针对实线框221G的用户操作，电子设备100退出目标追踪模式，可选的，电子设备100显示如图5b所示的用户界面。图5b中，电子设备100退出目标追踪模式，预览框221中显示的画面为摄像头实时采集的原始图像。由于当前的显示倍率为15倍，则显示区280的显示画面相比于预览框221中的显示画面放大了15倍。预览框221中虚线框221H中的画面为显示区280显示的画面，指示了当前显示区220显示的画面为摄像头实时采集到的图像的哪一个部分。图5b中的引导标语224为“单击虚框可追踪目标”，该虚框为虚线框221H。

在一些实施例中，如图6a所示，当电子设备100检测到针对退出图标221K的用户操作，电子设备100关闭预览框221，可选的，此时电子设备100显示如图6b所示的用户界面。图6b中，相比于图6a，电子设备100同时关闭了预览框221和引导标语224，并在显示区290中显示如图6a中的显示区280的显示画面。

对于上述图4b～图4f来说，电子设备100倾向于将目标主体始终显示在显示区的正中间的区域。本申请实施例中，不限于是正中间的区域，电子设备100也可以将目标主体限定在显示区的任意区域，电子设备100可以将显示区的任意一个坐标点作为引导点，始终将目标主体的运动引导到该引导点上，达到将目标主体显示在显示区的任意区域的效果。

在一些实施例中，电子设备100可以基于接收到的用户操作确定出引导点。例如电子设备100提供引导点的设置输入框，电子设备100接收到用户输入的像素坐标点作为引导点；又例如电子设备100接收到针对显示区的点击操作，则电子设备100确定该点击操作对应的点击位置即为引导点的位置。

下面以图7a～图7d为例，示例性的说明电子设备100将目标主体限定在显示区域的偏左的区域的情况下的显示界面。

示例性的，在图4a中，当电子设备100检测到针对虚线框221B的用户操作，电子设备100开启目标追踪模式，电子设备100显示如图7a所示的用户界面。图7a中，电子设备100在显示区310确定一个引导点，始终将目标主体的运动引导到该引导点上，该引导点位于显示区的偏左的区域。预览框311中显示的画面为摄像头实时采集的图像，显示倍率为5倍。电子设备100开启目标追踪模式，电子设备100识别出摄像头当前采集的图像中的目标主体(即为预览框311中显示的图像中的人物)，并确定实线框331A在预览框311中的位置，实线框331A中包括了电子设备100识别出的目标主体，由于电子设备100将目标主体限定在显示区域的偏左的区域(引导点的位置)，则目标主体在实线框331A中偏左的区域。实线框331A中的画面为显示区310显示的画面，此时人物显示在显示区320中引导点的位置。其中，图7a所示的用户界面和图4b相同，因此图7a中关于用户界面内的描述可以参考上述图4b的描述，此处不再赘述。

在目标追踪模式下，电子设备100不移动，目标主体进行移动，电子设备100对目标主体进行追踪。如图7b所示，可以看出图7b中的人物相比于图7a中向右上边移动了一段距离，并且实线框311B跟随着目标主体(人物)进行移动，即目标主体在实线框311B中仍然处于偏左的区域。实线框311B中的画面为显示区320显示的画面，此时人物显示在显示区320中引导点的位置。

在电子设备100不移动的情况下，目标主体继续进行移动，如图7c所示，可以看出图7c中的人物相比于图7b中向右下边移动了一段距离，并且实线框311C跟随着目标主体(人物)进行移动，即目标主体在实线框311C中仍然处于偏左的区域。实线框311C中的画面为显示区330显示的画面，此时人物显示在显示区330中引导点的位置。

在电子设备100不移动的情况下，目标主体继续进行移动，如图7d所示，可以看出图7d中的人物相比于图7c中向右上边移动了一段距离，此时人物已经移动到了电子设备100的拍摄范围的右边缘，实线框311D跟随着目标主体(人物)进行移动，则实线框311D选取在预览框211中右边缘的位置，在实线框311D中，目标主体显示在实线框311D中偏右的区域。由于图7d中目标主体的位置在电子设备100的拍摄范围的右边缘的位置，结合到当前的显示倍率(15倍)以及显示区的显示比例大小，目标主体无法显示在显示区的偏左的区域(引导点的位置)，此时目标主体显示在显示区的右边缘的位置。实线框311D中的画面为显示区340显示的画面，此时人物显示在显示区340中右边缘的区域。

综上所述，电子设备100可以将显示区的任意一个坐标点作为引导点，始终将目标主体的运动引导到该引导点上，达到将目标主体显示在显示区的任意区域的效果。

上述描述了电子设备100识别到一个目标对象的情况下，将该目标对象作为目标主体，电子设备100对该目标主体的追踪方式。下面描述当电子设备100识别到摄像头采集的图像中包括多个目标对象的情况下，确定目标主体的方式。

可选的，电子设备100可以根据预设规则在这多个目标对象中确定唯一一个目标主体。其中，预设规则可以是当前采集的图像中处于最中心位置的目标对象；预设规则也可以是当前采集的图像中占据图像区域最大的目标对象；等等。

可选的，电子设备100识别到摄像头采集的图像中包括多个目标对象的情况下，电子设备100可以提供该多个目标对象的选择图标，电子设备100接收到用户针对该多个目标对象的选择图标的用户操作，解析该用户操作的点击位置，在多个目标对象中确定目标主体。

如图8a所示，图8a示出了一种可能的相机应用提供的用户界面。显示区400的显示画面为电子设备通过摄像头实时采集的图像，此时显示区400中显示画面包括人物1的部分身体、人物2、一颗树木和树木上的一个铃铛。

基于上述图8a中相机应用提供的用户界面，当电子设备100接收到针对于该用户界面的用户操作，电子设备100触发目标追踪模式，示例性的显示如图8b所示的界面。

可选的，该用户操作可以是用户在显示区400中分开两指以放大显示倍率，当电子设备100的显示倍率放大到不小于预设倍率，电子设备100触发目标追踪模式，示例性的显示如图4a所示的界面。其中，预设倍率例如可以是15倍。

可选的，图8a中还可以包含触发目标追踪模式的快捷图标，该用户操作可以是针对该快捷图标的点击操作，电子设备100接收到该点击操作，触发目标追踪模式，示例性的显示如图8b所示的界面。

如图8b所示，预览框411中显示的画面为摄像头实时采集的图像，可以看出，预览框411中显示的图像比5倍率下的显示的图像范围(如图8b中显示区410的显示图像)更大。此时预览框411中显示的画面包括人物1(完整的)、人物2、一颗树木和树木上的一个铃铛。预览框411中虚线框411A中的画面为显示区410显示的画面，指示了当前显示区410显示的画面为摄像头实时采集到的画面的哪一个部分。由于当前的显示倍率为15倍，此时显示区410中显示的图像包括树木和树木上的铃铛，以及人物2的身体的上半部分。

当电子设备100检测到针对虚线框411A的用户操作，电子设备100开启目标追踪模式，电子设备100识别出摄像头当前采集的图像(即为预览框411中显示的图像)中的目标主体。如图8c所示，此时电子设备100识别到两个目标对象，即人物1和人物2。电子设备100显示区域411B和区域411C，其中区域411B指示了一个目标对象人物1，区域411C指示了另一个目标对象人物2。电子设备100显示引导标语412，用于提示用户“点击目标对象确定追踪主体”。当用户点击区域411B，则电子设备100确定人物1为目标主体；当用户点击区域411C，则电子设备100确定人物2为目标主体。

示例性的，当用户点击区域411B，则电子设备100确定人物1为目标主体，显示如图8d所示的用户界面。预览框411中显示的画面为摄像头实时采集的原始图像。预览框411中包括实线框411D，实线框411D中包括了电子设备100识别出的目标主体(人物1)，可以认为实线框411D指示了电子设备100对目标主体的追踪，当目标主体进行移动，实线框411D跟随目标主体进行移动。其中，实线框411D中的画面为显示区430显示的画面，指示了当前显示区430显示的画面为摄像头实时采集到的画面的哪一个部分。

可以看出，图8c中的显示区420显示的是将摄像头采集到的图像放大到15倍后的图像，截取的是摄像头采集到的图像的最中心位置的部分。此时当检测到作用于拍摄图标215的点击操作时，电子设备100获取显示区420当前显示的图像。图8d中开启了目标追踪模式，在摄像头采集到的图像为相同图像(图8c和图8d中预览框411中为相同图像)的情况下，显示区430显示的图像是摄像头采集到的图像中包括目标主体(人物1)的部分。此时，当检测到作用于拍摄图标215的点击操作时，电子设备100获取显示区430当前显示的图像。这样，能够达到不用移动电子设备100就可以获取到目标主体的图片/视频的效果，实现了对目标主体的追踪。

在一些实施例中，基于上述图8a中相机应用提供的用户界面，当电子设备100接收到针对于该用户界面的用户操作，电子设备100触发目标追踪模式，电子设备100可以直接显示如图8c所示的界面。

可以理解的，电子设备100从多个目标对象中确定目标主体的方式不限于上述示例性的方式，本申请对此不做限制。

以上介绍了本申请实施例的一种目标追踪方法中所涉及的显示界面，下面介绍本申请提供的一种目标追踪方法的实现原理，如图9所示，图9为本申请实施例提供的一种目标追踪方法的方法流程图，该目标追踪方法步骤可包括：

S101、电子设备100获取图像数据，并确定该图像数据中的目标主体。

电子设备100获取图像数据，其中，电子设备100可以获取通过摄像头实时采集的图像数据，例如图4a中的预览框221中的显示画面即为电子设备100通过摄像头实时采集的图像数据。电子设备100也可以获取由其他设备发送的图像数据，也可以是电子设备100存储的图像数据。然后，电子设备100基于目标检测算法(也可以是目标识别、跟踪或特征匹配等算法)对获取到的图像数据进行主体识别并确定目标主体，或者电子设备100也可以基于接收到的用户操作确定该图像数据中的目标主体。

在一些实施例中，电子设备100显示第一界面。该第一界面中显示了电子设备100通过摄像头采集的图像。可选的，该第一界面可以是相机应用的预览界面。电子设备100接收到针对第一界面的第一操作，响应于该第一操作，电子设备100触发目标追踪模式，确定获取到的图像数据中的目标主体。其中，第一操作可以是触控操作、语音操作、悬浮手势操作等等，在此不作限定。例如，该第一界面是如图3b示出的相机应用的预览界面，则该第一操作可以是调高显示倍率的用户操作，然后电子设备100显示如图4a示出的界面，电子设备100确定获取到的图像数据中的目标主体，例如图4a中预览框211中的人物即为目标主体。

在一些实施例中，电子设备100通过摄像头实时采集图像数据，对采集到的图像数据进行主体识别。其中，电子设备100通过目标检测算法对采集到的图像进行目标检测，获取到图像中的一个或多个目标对象，该一个或多个目标对象可以是人物、动物、物品、建筑等等。电子设备100在这一个或多个目标对象中确定目标主体。需要说明的是，电子设备100对采集到的图像数据进行主体识别，采集到的图像数据中除了目标主体的部分，其余部分认为是背景部分。

在一些实施例中，电子设备100检测到图像中的一个或多个目标对象后，根据预设规则在这一个或多个目标对象中确定目标主体。其中，预设规则可以是当前采集的图像中处于最中心位置的目标对象；预设规则也可以是当前采集的图像中占据图像区域最大的目标对象；等等。

在一些实施例中，电子设备100通过目标检测算法对获取到的图像进行目标检测时，电子设备100对多帧图像进行分析处理，确定多帧图像中的运动物体，即该一个或多个目标对象为运动对象。需要说明的是，采集到的图像数据中除了该一个或多个目标对象的部分，其余部分认为是背景部分。

在一些实施例中，电子设备100检测到图像中的一个或多个目标对象后，在显示界面上为用户提供该一个或多个目标对象的选择图标，电子设备100接收到用户针对该一个或多个目标对象的选择图标的用户操作，解析该用户操作的点击位置，在这一个或多个目标对象中确定目标主体。例如图8c中所示，电子设备100检测到图像中的两个目标对象(人物1和人物2)，电子设备100接收到用户针对人物1的显示区域的用户操作，解析该用户操作的点击位置，电子设备100确定目标主体为人物1。

S102、电子设备100确定目标主体的运动路径。

电子设备100进行主体识别并确定目标主体后，基于多帧图像解析追踪该目标主体形成的运动路径，该运动路径也称为主体运动路径。

一般来说，电子设备100采集到的图像帧为N+2帧，则电子设备100实时显示在显示区的画面为电子设备100采集到的第N帧图像，N为正整数。这里的多帧图像指的是N+2帧图像，电子设备100基于采集到的N+2帧图像，确定出目标主体的运动路径。

一个目标主体运动路径由X轴方向上的运动路径和Y轴方向上的运动路径共同描述，本申请实施例以X轴方向上的运动路径为例，如图10所示，图10示出了目标主体和背景的运动路径折线图。图10中，纵坐标为x轴方向上的像素坐标，横坐标为以时间t为顺序的图像帧数。图10中的路径①为目标主体在x轴方向上的运动路径，该目标主体的运动路径可以是基于目标主体上的一个目标点绘制出的。电子设备100获取每一帧原始图像上该目标点的像素坐标，电子设备100基于在不同图像帧上该目标点在x轴方向上的像素坐标，确定该目标点在不同图像帧中x轴方向上的运动路径，作为目标主体在X轴方向的运动路径。

可选的，该目标主体的运动路径也可以是基于原始图像上一个区域绘制出的，其中该区域是固定大小的，目标主体的图像始终在这个区域内。电子设备100获取每一帧图像上该区域中一个目标点(接下来以该区域的中心点为例)的像素坐标，电子设备100基于在不同图像帧上该区域的中心点在x轴方向上的像素坐标，确定该中心点在不同图像帧中x轴方向上的运动路径，作为目标主体的运动路径。

可选的，该目标主体的运动路径也可以是基于目标主体上多个目标点绘制出的。电子设备100获取每一帧原始图像上该多个目标点的像素坐标，电子设备100基于在不同图像帧上该多个目标点在x轴方向上的像素坐标，确定该多个目标点的每一个目标点在不同图像帧中x轴方向上的运动路径。电子设备100将该多个目标点的运动路径进行加权，确定至少一条运动路径，作为目标主体的运动路径。

需要说明的是，上述描述了目标主体在x轴方向上的运动路径，其中目标主体在y轴方向上的运动路径的原理描述和上述在x轴方向上的运动路径的原理描述相同，同理可得，此处不再赘述。

S103、电子设备100确定背景的运动路径。

电子设备100对采集到的图像数据进行主体识别，采集到的图像数据中除了目标主体的部分，其余部分认为是背景部分。

电子设备100基于多帧图像解析追踪背景形成的运动路径，该运动路径也称为背景运动路径，其中这里的多帧图像指的是N+2帧图像。

一个背景运动路径由X轴方向上的运动路径和Y轴方向上的运动路径共同描述，本申请实施例以X轴方向上的运动路径为例，如图10所示，图10中的路径②为背景在x轴方向上的运动路径，背景的运动路径可以是基于背景中的一个目标点绘制出的。电子设备100获取每一帧图像上该目标点的像素坐标，电子设备100基于在不同图像帧上该目标点在x轴方向上的像素坐标，确定该目标点在不同图像帧中x轴方向上的运动路径，作为背景在X轴方向的运动路径。

可选的，背景的运动路径也可以是基于背景中多个目标点绘制出的。电子设备100获取每一帧图像上该多个目标点的像素坐标，电子设备100基于在不同图像帧上该多个目标点在x轴方向上的像素坐标，确定该多个目标点的每一个目标点在不同图像帧中x轴方向上的运动路径。电子设备100将该多个目标点的运动路径进行加权，确定至少一条运动路径，作为背景的运动路径。

可选的，背景的运动路径也可以是基于前一帧和当前帧的位姿差异数据绘制出的。电子设备100基于6自由度(depth of field，dof)技术或3dof技术测量出电子设备100的位姿变换，电子设备100将空间位置变化量转化为背景运动路径的像素坐标的变化量，从而描述背景的运动路径。

上述描述了背景在x轴方向上的运动路径，其中背景在y轴方向上的运动路径的原理描述和上述在x轴方向上的运动路径的原理描述相同，同理可得，此处不再赘述。

需要说明的是，步骤S104和步骤S105不具有先后顺序。

S104、电子设备100基于目标主体的运动路径和背景的运动路径，确定背景的平滑路径。

电子设备100基于目标主体的运动路径和背景的运动路径，确定背景的平滑路径。其中，电子设备100基于该平滑路径驱动背景运动，可以实现对目标主体的稳定追踪。

首先，电子设备100基于目标主体的运动路径，确定目标主体和引导点的差值折线。其中，差值折线也可以称为位移引导线，用于指示目标主体距离引导点的位移。这里，引导点为电子设备100想要目标主体显示在输出框中的位置。一般来说，电子设备100默认引导点为输出框的中心点；在一些实施例中，电子设备100可以基于接收到的用户操作确定引导点。

其中，输出框的中心和比例相对于电子设备100采集到的原始图像是固定的，电子设备100将引导点设置在输出框中，电子设备100基于该目标主体和引导点的差值折线，可以将目标主体的目标点显示在该引导点上，则目标主体显示在该引导点所在的区域内。

其中，目标主体的目标点可以是该目标主体上的任意一点。电子设备100的预设引导点可以是输出框的任意一点。

举例来说，电子设备100可以将引导点设置在输出框的中心点，电子设备100基于该目标主体的目标点和输出框的中心点的差值折线，引导该目标主体的目标点显示在该输出框的中心点上，达到将目标主体始终显示在输出框的正中间的区域的效果。本申请实施例中，电子设备100可以将输出框中的任意一个坐标点作为引导点，始终将目标主体的目标点显示在该引导点上，达到将目标主体显示在显示区的任意位置的效果。

目标主体和预设引导点的差值折线为目标主体的目标点和预设引导点的像素坐标的差值，如图11所示，图11中的路径③为目标主体的目标点和预设引导点在X轴方向上的像素差值折线。电子设备100获取每一帧图像上该目标点的像素坐标，电子设备100基于在不同图像帧上该目标点和预设引导点的在X轴方向上的像素坐标差值，确定出如路径③所示的目标主体和预设引导点的差值折线。

然后，电子设备100基于该差值折线和背景的运动路径，确定背景的平滑路径。如图11所示，路径②为示例性的一条背景的运动路径，电子设备100基于差值折线(路径③)和背景的运动路径(路径②)，确定背景的平滑路径。其中，平滑路径既要保证平滑，又要趋向中点。可以看出，在f0和f9这两个点上，平滑路径上的点为路径③和路径②的中点；而在f16这个点上，若取路径③和路径②的中点为平滑路径上的点，则会导致平滑路径的不平滑，因此为了保证平滑，将f16这个点的平滑路径不取在中点的位置。即平滑路径上的点都是在平滑的基础上，再趋于路径③和路径②的中点而确定的。

电子设备100基于该平滑路径驱动背景运动，可以实现对目标主体的稳定追踪。

需要说明的是，背景的平滑路径包括X轴方向上的路径和Y轴方向上的路径。以上的求解过程均是以X轴方向上的运动为例进行描述的，并且求解得到的平滑路径为X轴方向上的平滑路径。在Y轴方向上，电子设备确定目标主体的运动路径和背景的运动路径，再基于在Y轴方向上目标主体的运动路径和背景的运动路径，确定Y轴方向的平滑路径，这和求解X轴方向上的平滑路径原理相同，这里不再赘述。

在一些实施例中，由于是X轴方向上对平滑路径的求解，电子设备100还基于输出图左边界折线和输出图右边界折线进一步优化平滑路径，如图11所示，图11中的路径④为输出图左边界折线，路径⑤为输出图右边界折线。路径④和路径⑤为电子设备100将原始图像数据进行warp处理后，确定出输出框的左边界和右边界在每一帧图像上的像素坐标。电子设备100在确定背景的平滑路径时，始终将背景的平滑路径限制在输出图左边界折线和输出图右边界折线之间，避免使输出框的边界在背景的边界之外。

同理可得，在Y轴方向上对平滑路径的求解，电子设备100还基于输出图上边界折线和输出图下边界折线进一步优化平滑路径。

这种实现方式，基于上述方法确定出来的平滑路径，电子设备100驱动背景通过该平滑路径进行warp，可以同步实现防抖和追踪。

S105、电子设备100基于该平滑路径对采集到的图像进行warp，输出warp后的图像。

电子设备100确定背景的平滑路径后，基于该平滑路径，计算从背景原始运动路径到求解得到的平滑路径的变换矩阵，将原始图像warp到平滑路径上，并输出warp后的图像。该输出的图像即为实现了稳定追踪目标主体的图像，此时，电子设备100实现了背景的防抖和目标主体的追踪。

如图12a所示，图12a中示出了电子设备100采集到的一个图像帧(第N帧)根据平滑路径进行移动后的实现效果。其中，电子设备100采集到一个原始图像帧(第N帧)，该原始图像帧中包括一个人物(实线表示)，此时当没有位移引导线(差值折线)参与背景平滑时，背景平滑路径在原始路径附近，人物不能显示在输出框内。当电子设备100进入到目标追踪模式，电子设备100基于采集的原始图像帧对该人物进行追踪，当电子设备接收到对该人物进行追踪的指令，电子设备100将原始图像帧进行warp处理，虚线框为将原始图像帧进行warp处理后的图像帧，其中，虚线框中也包括一个人物(虚线表示)，与原始图像帧的人物对应。电子设备100将虚线框指示的图像帧基于步骤S104求解得到的平滑路径进行移动，可以将人物移动到输出框之中，实现对该人物的平稳追踪。

同理，如图12b所示，电子设备100采集到第N+1帧图像，电子设备100将该第N+1帧图像进行warp处理，虚线框为将第N+1帧图像进行warp处理后的图像帧。电子设备100将虚线框指示的图像帧基于步骤S104求解得到的平滑路径进行移动，可以将人物移动到输出框之中，实现对该人物的平稳追踪。在图12a和图12b中，可以看出第N帧图像和第N+1帧图像中的人物在输出框中的位置相同，即电子设备100的预设引导点在输出框中当前人物的位置。

本申请实施例，电子设备100通过目标主体的运动驱动背景移动来使得目标主体移动到输出画面中，在对背景的平滑路径进行求解的过程中，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像数据的边界)。这样，既能使防抖空间不受限，也能在更低视场角时也提供追踪效果，避免因裁切边界变小导致在原始图像上可见的主体也难以进行追踪的问题。

并且，作为需要实时运行在手机上的方法，我们无法获取到很多未来帧信息并综合未来帧的图像流运动路径给出当前帧的最佳路径。尤其在相机应用的拍照预览模式下，只能获取到有限个(例如两个)未来帧的图像信息。

一般来说，电子设备100采集到的图像帧为N+2帧，则电子设备100实时显示在显示区的画面为电子设备100采集到的第N帧图像，N为正整数。目前，由于防抖和目标追踪是两个单独的算法，电子设备100想要进行防抖和目标追踪，电子设备100首先基于N+2帧图像实现对N帧图像的防抖处理，然后电子设备100只能基于N帧图像对目标主体进行追踪，即电子设备100对目标主体的追踪只能利用到第N帧图像，这样会导致输出画面无法显示到第N帧，导致输出画面的延迟。

本申请实施例通过直接将目标主体追踪和背景路径防抖两部分并行求解，使得防抖和追踪的平滑窗口可以共享未来帧信息，更好的兼顾跟踪性和稳定性。

在一些实施例中，电子设备100可以基于长焦摄像头采集原始图像，也可以基于广角摄像头采集图像，即电子设备100采集到的图像为更大视场角的广角图，基于广角图像，通过电子设备100通过目标检测算法对采集到的图像进行主体识别并确定目标主体。这种方式，通过获取更大视场角的广角图，能够实现更大范围的追踪。

上述实施例描述了电子设备100识别到一个目标主体的情况下电子设备100对该目标主体的追踪方式。下面本申请实施例描述了当电子设备100识别到摄像头采集的图像中包括多个目标主体的情况下，对该多个目标主体的追踪方式。如图13所示，图13为本申请实施例提供的又一种目标追踪方法的方法流程图，该目标追踪方法步骤可包括：

S201、电子设备100对获取到的图像数据进行主体识别并确定出N个目标主体，N为大于1的正整数。

电子设备100获取图像数据，其中，电子设备100可以获取通过摄像头实时采集的图像数据，也可以获取由其他设备发送的图像数据，也可以是电子设备100存储的图像数据。然后，电子设备100基于目标检测算法对获取到的图像数据进行主体识别并确定出N个目标主体，或者电子设备100也可以基于接收到的用户操作确定出N个目标主体。

在一些实施例中，电子设备100通过摄像头实时采集图像数据，对采集到的图像数据进行主体识别。其中，电子设备100通过目标检测算法对采集到的图像进行目标检测，获取到图像中的多个目标对象，该多个目标对象可以是人物、动物、物品、建筑等等。电子设备100在这多个目标对象中确定出N个目标主体。其中，电子设备100可以根据预设规则在多个目标对象中确定出N个目标主体。例如预设规则可以是当前采集的图像中最靠近中心位置和第二靠近中心位置的目标对象；预设规则也可以是当前采集的图像中占据图像区域最大和第二大的目标对象；等等。

在一些实施例中，电子设备100检测到图像中的多个目标对象后，在显示界面上为用户提供该多个目标对象的选择图标，电子设备100接收到用户针对该多个目标对象的选择图标的用户操作，解析该用户操作的点击位置，确定N个目标主体。例如当用户分别点击了两个目标对象对应的选择图标，则电子设备100确定该两个对象为两个目标主体。

需要说明的是，电子设备100对采集到的图像数据进行主体识别，采集到的图像数据中除了目标主体的部分，其余部分认为是背景部分。

S202、电子设备100确定N个目标主体的运动路径集。

电子设备100进行主体识别并确定N个目标主体后，确定该N个目标主体中每个目标主体的运动路径，其中，如何确定目标主体的运动路径可以参考上述步骤S102中的相关描述，此处不再赘述。

电子设备100确定该N个目标主体中每个目标主体的运动路径，获取目标主体的运动路径集，该运动路径集中包括该N个目标主体中每个目标主体的运动路径。

S203、电子设备100确定背景的运动路径。

这里，步骤S203的相关描述可以参考上述步骤S103的描述，此处不再赘述。

S204、电子设备100基于N个目标主体的运动路径集和背景的运动路径，确定背景的平滑路径。

电子设备100基于N个目标主体的运动路径集和背景的运动路径，确定背景的平滑路径。其中，电子设备100基于该平滑路径驱动背景运动，可以实现对N个目标主体的稳定追踪。

首先，电子设备100基于N个目标主体的运动路径集，确定每个目标主体和预设引导点的差值折线，即确定出N条差值折线。在一些实施例中，电子设备100将该N条差值折线进行加权平均，获取到一条使各个目标主体和预设引导点之间的平均距离最优的差值折线。

在一些实施例中，电子设备100通过构图评分或美学评分等将该N条差值折线进行预计的输出图评分，例如目标主体在输出图中的位置越趋于中心位置则评分越高，电子设备100从该N条差值折线中选出一条评分最高的作为确定的差值折线。

在一些实施例中，电子设备100通过根据每个目标主体在输入图上的位置和大小，以及最终输出图的大小对该N条差值折线进行评分，例如目标主体在输入图上的大小和输出图的大小越相近则评分越高，电子设备100从该N条差值折线中选出一条评分最高的作为确定的差值折线。

然后电子设备100基于该差值折线和背景的运动路径，确定平滑路径。这里，电子设备100如何基于差值折线和背景的运动路径确定平滑路径可以参考上述步骤S104中的相关描述，此处不再赘述。

S205、电子设备100基于该平滑路径对采集到的图像进行warp，输出warp后的图像。

这里，步骤S205的相关描述可以参考上述步骤S105的描述，此处不再赘述。

本申请实施例，通过对多个目标主体的识别，实现了对多目标主体的联合跟踪。

图14为本申请实施例提供的一种目标追踪方法的步骤流程。

步骤S301、电子设备100开启目标追踪模式；

其中，电子设备100开启目标追踪模式的方式可以参考上述图3b和图4a的相关描述。

步骤S302、电子设备100根据电子设备100的摄像头采集到的原始图像，确定待追踪的目标主体；

电子设备100可以通过目标检测算法确定目标主体，也可以通过接收到的用户操作确定目标主体。其中，电子设备100确定待追踪的目标主体的具体方式可以参考上述图4a和图4b的相关描述。

步骤S303、电子设备100在显示区中显示第一追踪画面，第一追踪画面中包括目标主体，目标主体位于摄像头的取景区域的第一位置；

其中，第一追踪画面例如可以是图4b所示的画面，此时目标主体(人物)位于摄像头的取景区域(预览框221显示的画面)的左边缘的位置(第一位置)。

步骤S304、当目标主体移动位置，电子设备100在显示区中显示第二追踪画面，第二追踪画面显示目标主体位于摄像头的取景区域的第二位置。

其中，第二追踪画面例如可以是图4c所示的画面，此时目标主体(人物)相对于4b中向右移动了，第二位置与第一位置不同。

本申请实施例，电子设备100可以对采集到的原始图像进行目标追踪，电子设备100确定出原始图像中的目标主体后，当目标主体从第一位置移动到第二位置，电子设备100的显示区中始终将该目标主体显示在画面中。这里，摄像头采集到的原始图像指的是摄像头可采集到的全部图像数据。本申请实施例基于对原始图像的图像范围对目标主体进行追踪，实现了更大的追踪范围。

在一种可能的实施方式中，电子设备100未移动位置，摄像头的取景区域不变。本申请实施例对目标主体的追踪，可以是电子设备100不动的情况下，对运动的目标主体进行追踪，这样能够提高目标主体显示在输出画面中的稳定性。其中，本申请实施例也可以是电子设备100运动的情况下，对运动的目标主体进行追踪，将目标主体始终显示在输出画面中；也可以是电子设备100运动的情况下，对不运动的目标主体进行追踪，将目标主体始终显示在输出画面中。

在一种可能的实施方式中，原始图像未经过防抖或去模糊处理，或者，原始图像包括摄像头的取景区域内的全部对象。本申请实施例基于对原始图像的图像范围对目标主体进行追踪，实现了更大的追踪范围。当目标主体位于原始图像的边缘区，电子设备100也可以对该目标主体进行追踪。

在一种可能的实施方式中，方法还包括：电子设备100在预览框中显示摄像头采集到的原始图像，预览框占用显示区的一部分或全部。其中，预览框可以是一种画中画框，叠加显示在显示区上，以供用户能够更直观看到原始图像和显示区的追踪画面的对比。预览框也可以占用显示区的全部画面，例如先在显示区的全部画面中显示预览框，然后再将预览框叠加显示在显示区上。例如预览框可以是图4a～图4f中所示的预览框221。

在一种可能的实施方式中，电子设备100根据电子设备100的摄像头采集到的原始图像，确定待追踪的目标主体包括：电子设备100接收用户在预览框中的第一操作，第一操作指示用户选择的目标主体；电子设备100根据第一操作，确定待跟踪的目标主体。其中，预览框中显示摄像头采集的原始图像，则预览框中显示的图像中包括目标主体，电子设备100可以基于用户针对预览框的第一操作确定出目标主体，这里的第一操作例如可以是针对目标主体的显示位置的点击操作。即电子设备100可以基于用户操作确定目标主体。

在一种可能的实施方式中，电子设备100根据电子设备100的摄像头采集到的原始图像，确定待追踪的目标主体包括：电子设备100基于预设的目标检测算法，对电子设备100的摄像头采集到的原始图像进行自动目标检测，确定待追踪的目标主体。这里，预设的目标检测算法可以是针对特定类别的对象，例如针对检测人物的目标检测算法，例如针对检测动物的目标检测算法，例如针对检测物体的目标检测算法，例如针对检测运动对象的目标检测算法，等等。

在一种可能的实施方式中，预览框中还包括输出框，输出框中的图像对应显示区所显示的画面。该输出框用于指示当前的显示区显示的画面是在原始图像中的哪一个区域。例如输出框可以是图4a中的虚线框221B，可以是图4b中的实线框221C，可以是图4c中的实线框221D，可以是图4d中的实线框221E，可以是图4e中的实线框221F，可以是图4f中的实线框221G。

在一种可能的实施方式中，方法还包括：电子设备100在输出框中确定引导点，引导点指示目标主体的显示位置；电子设备100根据引导点，将位于第一位置的目标主体显示在第一追踪画面，或将位于第二位置的目标主体显示在第二追踪画面。这里，引导点是用于确定目标主体在输出框的显示位置，若引导点是在输出框的中心点，则在第一追踪画面中目标主体显示在第一追踪画面的中心位置，在第二追踪画面中目标主体显示在第二追踪画面的中心位置。这样，电子设备100能够使目标主体稳定显示在引导点所在的位置，实现稳定追踪的效果。例如图4a～图4f中引导点为输出框的中心点，图7a～图7d中引导点为输出框的偏左边的一点。

在一种可能的实施方式中，电子设备100在输出框中确定引导点包括：电子设备100根据默认设置确定输出框中的引导点，或者电子设备100接收用户的第二操作，用户的第二操作指示用户选择的引导点在输出框中的位置。这里提供了电子设备100可以通过默认设置和用户操作来确定引导点的方式。

在一种可能的实施方式中，电子设备100根据引导点，将位于第一位置的目标主体显示在第一追踪画面，或将位于第二位置的目标主体显示在第二追踪画面包括：电子设备100确定目标主体的运动路径；电子设备100基于目标主体的运动路径确定目标主体和引导点的差值折线；电子设备100确定原始图像中的背景的运动路径；电子设备100基于背景的运动路径和差值折线，确定平滑路径；电子设备100将原始图像基于平滑路径进行wrap处理；电子设备100在显示区中显示warp处理后的图像，显示区显示的画面对应输出框中的图像。这里描述了电子设备100实现对目标主体进行稳定追踪的算法原理。基于前景驱动背景的思想，电子设备100通过目标主体的运动驱动背景运动，来使得目标主体移动到输出画面中。在对背景的平滑路径进行求解的过程中，电子设备100确定目标主体运动路径和引导点的差值折线，将该差值折线作为背景平滑的引导参考项，得到背景的平滑路径。基于该平滑路径对电子设备100采集到的原始图像进行warp，能够使目标主体稳定显示在输出框中的引导点的位置。电子设备100对背景的平滑路径的一次求解，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像的边界)。实现了在进行背景平滑的同时实现对目标主体的追踪，兼顾了追踪结果的跟随性和平滑性。

在一种可能的实施方式中，电子设备100开启目标追踪模式包括：电子设备100检测到用户的第三操作，第三操作包括调高变焦倍率的操作或者用户直接开启目标追踪模式的开关。这里提供了电子设备100基于用户操作开启目标追踪模式的方式。

在一种可能的实施方式中，调高变焦倍率的操作指示用户选择的显示倍率；电子设备100根据显示倍率在显示区中显示第一追踪画面或第二追踪画面。

在一种可能的实施方式中，摄像头为长焦摄像头。一般来说，在高倍率的显示倍率下，电子设备100使用长焦摄像头采集图像数据。

在一种可能的实施方式中，调高后的变焦倍率大于预设倍率。预设倍率例如可以是15倍。

在一种可能的实施方式中，当第二位置为摄像头的取景区域的边缘位置，第二追踪画面中包括目标主体。由于电子设备100对背景的平滑路径的一次求解，同步考虑到了防抖平滑和追踪两个方面，对目标主体的追踪和背景的路径平滑得以共用同样的最广的裁切边界(即原始图像的边界)。这样，即使目标主体在原始图像中的边缘位置，电子设备100也同样可以对该目标主体进行追踪，解决了由于目标主体的位置在电子设备100的拍摄区域的边缘，电子设备100即使采集到了目标主体的图像也无法对目标主体进行追踪的问题。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (19)

1.一种目标追踪方法，其特征在于，所述方法包括：

电子设备开启目标追踪模式；

所述电子设备根据所述电子设备的摄像头采集到的原始图像，确定待追踪的目标主体；

所述电子设备在显示区中显示第一追踪画面，所述第一追踪画面中包括所述目标主体，所述目标主体位于所述摄像头的取景区域的第一位置；

当所述目标主体移动位置，所述电子设备在所述显示区中显示第二追踪画面，所述第二追踪画面显示所述目标主体位于所述摄像头的取景区域的第二位置。

2.根据权利要求1所述的方法，其特征在于，所述电子设备未移动位置，所述摄像头的取景区域不变。

3.根据权利要求1所述的方法，其特征在于，所述原始图像未经过防抖或去模糊处理，或者，所述原始图像包括所述摄像头的取景区域内的全部对象。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

所述电子设备在预览框中显示所述所述摄像头采集到的原始图像，所述预览框占用所述显示区的一部分或全部。

5.根据权利要求4所述的方法，其特征在于，所述电子设备根据所述电子设备的摄像头采集到的原始图像，确定待追踪的目标主体包括：

所述电子设备接收用户在所述预览框中的第一操作，所述第一操作指示所述用户选择的所述目标主体；所述电子设备根据所述第一操作，确定待跟踪的所述目标主体。

6.根据权利要求4所述的方法，其特征在于，所述电子设备根据所述电子设备的摄像头采集到的原始图像，确定待追踪的目标主体包括：

所述电子设备基于预设的目标检测算法，对所述电子设备的摄像头采集到的原始图像进行自动目标检测，确定待追踪的目标主体。

7.根据权利要求4所述的方法，其特征在于，所述预览框中还包括输出框，所述输出框中的图像对应所述显示区所显示的画面。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

所述电子设备在所述输出框中确定引导点，所述引导点指示所述目标主体的显示位置；

所述电子设备根据所述引导点，将位于所述第一位置的所述目标主体显示在所述第一追踪画面，或将位于所述第二位置的所述目标主体显示在所述第二追踪画面。

9.根据权利要求8所述的方法，其特征在于，所述电子设备在所述输出框中确定引导点包括：

所述电子设备根据默认设置确定所述输出框中的引导点，或者所述电子设备接收所述用户的第二操作，所述用户的第二操作指示所述用户选择的所述引导点在所述输出框中的位置。

10.根据权利要求8所述的方法，其特征在于，所述电子设备根据所述引导点，将位于所述第一位置的所述目标主体显示在所述第一追踪画面，或将位于所述第二位置的所述目标主体显示在所述第二追踪画面包括：

所述电子设备确定所述目标主体的运动路径；

所述电子设备基于所述目标主体的运动路径确定所述目标主体和所述引导点的差值折线；

所述电子设备确定所述原始图像中的背景的运动路径；

所述电子设备基于所述背景的运动路径和所述差值折线，确定平滑路径；

所述电子设备将所述原始图像基于所述平滑路径进行wrap处理；

所述电子设备在所述显示区中显示所述warp处理后的图像，所述显示区显示的画面对应所述输出框中的图像。

11.根据权利要求1-10任一项所述的方法，其特征在于，所述电子设备开启目标追踪模式包括：

所述电子设备检测到所述用户的第三操作，所述第三操作包括调高变焦倍率的操作或者所述用户直接开启目标追踪模式的开关。

12.根据权利要求11所述的方法，其特征在于，所述调高变焦倍率的操作指示所述用户选择的显示倍率；所述电子设备根据所述显示倍率在所述显示区中显示所述第一追踪画面或所述第二追踪画面。

13.根据权利要求12所述的方法，其特征在于，所述摄像头为长焦摄像头。

14.根据权利要求11或12所述的方法，其特征在于，所述调高后的变焦倍率大于预设倍率。

15.根据权利要求1-14任一项所述的方法，其特征在于，当所述第二位置为所述摄像头的取景区域的边缘位置，所述第二追踪画面中包括所述目标主体。

16.一种电子设备，其特征在于，包括：一个或多个处理器、一个或多个存储器；所述一个或多个存储器分别与所述一个或多个处理器耦合；所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述计算机指令在所述处理器上运行时，使得所述电子设备执行如权利要求1-15所述的方法。

17.一种计算机可读介质，用于存储一个或多个程序，其中所述一个或多个程序被配置为被所述一个或多个处理器执行，所述一个或多个程序包括指令，所述指令用于执行如权利要求1-15所述的方法。

18.一种目标追踪方法，其特征在于，所述方法包括：

启动目标追踪；

采集原始图像；

根据所述原始图像，确定待追踪的目标主体；

输出第一追踪画面的信息，所述第一追踪画面中包括所述目标主体，所述目标主体位于取景区域的第一位置；

输出第二追踪画面的信息，所述第二追踪画面显示所述目标主体位于取景区域的第二位置。

19.一种摄像头模组，其特征在于，包括输入单元、输出单元和至少一个摄像头；

所述输入单元用于根据电子设备的指示启动目标追踪；

所述至少一个摄像头用于采集原始图像，以及根据所述原始图像，确定待追踪的目标主体；

所述输出单元用于输出第一追踪画面的信息，所述第一追踪画面中包括所述目标主体，所述目标主体位于取景区域的第一位置；以及，输出第二追踪画面的信息，所述第二追踪画面显示所述目标主体位于取景区域的第二位置。

Images