CN116055844B - 一种跟踪对焦方法、电子设备和计算机可读存储介质 - Google Patents
一种跟踪对焦方法、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116055844B CN116055844B CN202310042421.XA CN202310042421A CN116055844B CN 116055844 B CN116055844 B CN 116055844B CN 202310042421 A CN202310042421 A CN 202310042421A CN 116055844 B CN116055844 B CN 116055844B
- Authority
- CN
- China
- Prior art keywords
- target object
- event
- image
- frame
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000033001 locomotion Effects 0.000 claims abstract description 148
- 230000015654 memory Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000004891 communication Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 11
- 238000010295 mobile communication Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 206010070834 Sensitisation Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种跟踪对焦方法、电子设备和计算机可读存储介质，涉及摄像技术领域。本方案中，即使目标物体运动，电子设备也可以得到包含较清晰的目标对象图像的图像。该方法包括：电子设备响应于用户的第一操作，通过电子设备的摄像头采集图像帧，显示预览界面。电子设备响应于用户对预览界面的第二操作，确定图像帧中需要跟踪对焦的目标对象，并通过图像传感器采集目标对象的事件流信息。然后，电子设备便基于目标对象的事件流信息，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置；基于目标对象在第一预设时间内的运动位置控制摄像头对焦目标对象。
Description
技术领域
本申请涉及摄像技术领域，尤其涉及一种跟踪对焦方法、电子设备和计算机可读存储介质。
背景技术
随着拍照技术的发展，人们对拍照质量的要求越来越高，特别是拍照的清晰度。目前，手机等电子设备在进行拍照或摄像时，可在电子设备的显示屏上看到其摄像头成像形成的所见即所得的图像帧。然而，由于摄像头所拍摄的目标对象的运动速度较快，当前的目标跟踪对焦基本是用传统的互补金属氧化物半导体图像传感器（CMOS image sensor，CIS）或电荷耦合器件（CCD）传感器来实现对目标对象的框选跟随，但是传统方法难以适应运动速度较快的情况，器件本身的帧率等性能局限导致容易丢失框选的目标对象，导致摄像头的焦点难以跟随目标对象，从而出现拍照或摄像离焦，显示屏所显示的图像帧中的目标对象变得模糊的问题。
发明内容
本申请实施例提供一种跟踪对焦方法、电子设备和计算机可读存储介质，用于解决由于摄像头所拍摄的目标对象的运动速度较快，导致摄像头的焦点难以跟随目标对象，从而出现拍照或摄像离焦，显示屏所显示的图像帧中的目标对象变得模糊的问题。
为达到上述目的，本申请的实施例采用如下技术方案：
第一方面，提供了一种跟踪对焦方法，该方法应用于电子设备，电子设备包括摄像头，摄像头包括图像传感器，该方法包括：响应于用户的第一操作，通过电子设备的摄像头采集图像帧，显示预览界面；其中，预览界面中包括摄像头采集的图像帧；响应于用户对预览界面的第二操作，确定图像帧中需要跟踪对焦的目标对象，并通过图像传感器采集目标对象的事件流信息；其中，事件流信息包括目标对象的运动事件发生的图像坐标，运动事件发生的时间戳和运动事件的极性，极性用于指示对应像素点是否发生亮度变化；基于目标对象的事件流信息，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置；基于目标对象在第一预设时间内的运动位置控制摄像头对焦目标对象。
本方案中，电子设备可以基于事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置，并依据该运动位置控制摄像头跟踪对焦运动的目标对象，以使摄像头在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。这样，即使目标对象的运动速度较快，电子设备也可以基于目标对象的运动位置控制摄像头对焦运动的目标对象，保证摄像头的焦点会跟随目标对象，得到包含较清晰的目标对象图像的图像。如此，在一定程度上，可以避免出现拍照或摄像离焦，图像帧中的运动的目标对象变得模糊的问题。
在第一方面的一种可能的实现方式中，基于目标对象的事件流信息，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置，包括：基于目标对象的事件流信息得到当前时刻及之前的N帧事件帧图像；其中，事件帧图像包括目标对象的图像，N为大于等于2的整数；基于N帧事件帧图像，采用预设目标轨迹预测模型预测目标对象在第一预设时间内的运动位置。由于前述事件流信息能够用于得到包含较清晰的目标对象的事件帧图像，因此，电子设备可以基于前述事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置。
在第一方面的一种可能的实现方式中，基于目标对象的事件流信息得到当前时刻及之前的N帧事件帧图像之后，包括：从N帧事件帧图像中确定当前时刻之前的n帧事件帧图像中目标对象的质心坐标；其中，n小于等于N；基于n帧事件帧图像中目标对象的质心坐标，计算目标对象的运动速度；基于目标对象的事件流信息，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置，包括：若运动速度大于速度阈值，则基于N帧事件帧图像，采用预设目标轨迹预测模型预测目标对象在当前时刻之后的第一预设时间内的运动位置。
一般情况下，若目标对象运动过快，会存在焦点难以跟随目标对象，从而出现拍照或摄像离焦，图像帧中的目标对象变得模糊的问题，则电子设备可以采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置，基于目标对象在第一预设时间内的运动位置控制摄像头对焦目标对象，以实现焦点始终落在运动的目标对象上。
在第一方面的一种可能的实现方式中，基于n帧事件帧图像的质心坐标，计算目标对象的运动速度，包括：
基于n帧事件帧图像的质心坐标，利用第一计算公式计算目标对象的运动速度；其中，第一计算公式计算如下：
，
其中，表示目标对象的运动速度，n 表示当前时刻之前的事件帧图像的数量，(/>,/>)表示第i-1帧事件帧图像中目标对象的质心坐标，(/>,/>)表示第i帧事件帧图像中目标对象的质心坐标。
在第一方面的一种可能的实现方式中，在采用预设目标轨迹预测模型预测目标对象在第一预设时间内的运动位置之前，该方法还包括：对N帧事件帧图像进行去噪处理；其中，去噪处理包括去除非目标对象的图像元素的操作。
一般情况下，事件帧图像中除了包括目标对象的图像元素，还包括非目标对象的图像元素，非目标对象的图像元素为噪声元素，可能会影响电子设备预测目标对象的运动位置的准确度。电子设备对事件帧图像进行去噪处理，可以在一定程度上提高电子设备预测目标对象的运动位置的准确度。
在第一方面的一种可能的实现方式中，对N帧事件帧图像进行去噪处理，包括：针对N帧事件帧图像中的每帧事件帧图像进行如下去噪处理：基于预设卷积层参数对待卷积的每帧事件帧图像进行卷积运算，得到与待卷积的每帧事件帧图像尺寸相同的特征图，其中，预设卷积层参数包括预设去噪算子、卷积步长和填充大小和填充方式；若特征图中第一像素点的像素值大于零，则将待卷积的事件帧图像的第一位置的第一像素点的原始像素值作为去噪后的事件帧图像中第一位置的第一像素点的像素值，其中，第一像素点为特征图中的任意一个像素点；若特征图中第一像素点的像素值等于零，则将第一位置的第一像素点的像素值取零作为去噪后的事件帧图像中第一位置的第一像素点的像素值。
在第一方面的一种可能的实现方式中，该方法还包括：若运动速度小于等于速度阈值，则基于当前时刻目标对象的运动位置控制摄像头对焦目标对象。
若目标对象运动较慢，不存在拍照或摄像离焦，图像帧中的目标对象变得模糊的问题，则电子涉笔可以基于当前时刻的质心坐标控制摄像头对焦目标对象。
在第一方面的一种可能的实现方式中，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置之后，该方法还包括：在预览界面显示目标对象在当前时刻之后第二预设时间内的运动位置对应的运动轨迹。
在第一方面的一种可能的实现方式中，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置之后，该方法还包括：若目标对象在第一预设时间内的运动位置表明目标对象将离开摄像头的拍摄范围，则显示提示信息，其中，提示信息用于提示用户沿运动位置对应的运动轨迹的方向移动电子设备。
对于预测的目标运动未来轨迹中将要离开当前视野的情况，给予系统提示，调整移动拍摄方向，保证运动的目标对象保持在视角居中位置，防止目标对象的丢失。
在第一方面的一种可能的实现方式中，运动位置包括目标对象的质心坐标；或者，运动位置包括目标对象的质心坐标和对焦尺寸；其中，对焦尺寸为用于对焦目标对象的区域大小。
第二方面，提供了一种电子设备，该电子设备包括存储器和一个或多个处理器；该存储器用于存储代码指令；该处理器用于运行该代码指令，使得该电子设备执行如第一方面中任一种可能的设计方式中的跟踪对焦方法。
第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当该计算机指令在电子设备上运行时，使得该电子设备执行如第一方面中任一种可能的设计方式中的跟踪对焦方法。
第四方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现第一方面中任一种可能的设计方式中的跟踪对焦方法。
其中，第二方面、第三方面和第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果，此处不再赘述。
附图说明
图1示出了一种拍照场景示意图；
图2示出了一种图像帧A的示意图；
图3为根据本申请的一些实施例，示出了一种手机100的结构示意图；
图4示出了一种跟踪对焦方法的流程示意图；
图5示出了一种手机100的主界面的示意图；
图6示出了一种预览界面的示意图；
图7示出了一种设置界面的示意图；
图8示出了一种跟踪对焦方法的流程示意图；
图9示出了一种跟踪对焦方法的流程示意图；
图10示出了一种去噪算子的结构示意图；
图11示出了事件帧图像去噪的过程示意图；
图12示出了一种目标轨迹预测模型的结构示意图；
图13示出了一种卷积层的结构示意图；
图14示出了一种编码器的结构示意图；
图15示出了一种解码器的结构示意图；
图16示出了一种预览界面的示意图；
图17示出了一种预览界面的示意图；
图18示出了跟踪对焦方案的原理示意图。
具体实施方式
本申请的说明性实施例包括但不限于一种跟踪对焦方法、电子设备及计算机可读存储介质。
下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
如前文背景技术，由于手机等电子设备的摄像头所拍摄的目标对象的运动速度较快，导致摄像头的焦点难以跟随目标对象，从而出现拍照或摄像离焦，电子设备的显示屏所显示的图像帧中的目标对象变得模糊的问题。例如，图1示出了一种拍照场景示意图。如图1所示，用户利用手机100拍摄眼前的小狗1时，由于小狗1在不停的走动，手机100的摄像头的焦点不能对焦到小狗1，手机100的显示屏所显示的图像帧A中的小狗1的图像会变得模糊。具体的，图2示出了一种图像帧A的示意图。如图2中的图像帧A所示，背景2中的静止画面很清晰，而小狗1的图像很模糊。又如，用户利用手机100拍摄小朋友在操场上跑步的场景，虽然一开始手机100的摄像头的焦点在小朋友身上，但是，小朋友在跑道上从远处跑向近处后，摄像头的焦点仍在远处背景上，所以手机100的显示屏所显示的图像帧中的远处背景很清晰，而小朋友的图像很模糊。
为了解决背景技术中的技术问题，本申请实施例提供一种跟踪对焦方法，该方法包括：电子设备通过摄像头采集图像帧，会显示包括摄像头采集的图像帧的预览界面。在此过程中，电子设备的事件相机（event-base vision，EVS）对应的图像传感器可以实时检测到目标对象因为运动导致的像素点的亮度变化（该变化简称运动事件）。这样，当目标对象运动极快的情况下，在电子设备确定图像帧中需要跟踪对焦的运动的目标对象后，电子设备便可以通过摄像头中事件相机对应的图像传感器采集目标对象的运动事件对应的事件流信息。由于前述事件流信息能够用于得到包含较清晰的目标对象的事件帧图像，因此，电子设备可以基于前述事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置，并依据该运动位置控制摄像头跟踪对焦运动的目标对象，以使摄像头在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。当目标对象运动较快的情况下，电子设备可以使用事件流信息获取目标实时位置，辅助对焦。本方案中，电子设备可以基于事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置，并依据该运动位置控制摄像头跟踪对焦运动的目标对象，以使摄像头在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。这样，即使目标对象的运动速度较快，电子设备也可以基于目标对象的运动位置控制摄像头对焦运动的目标对象，保证摄像头的焦点会跟随目标对象，得到包含较清晰的目标对象图像的图像。如此，在一定程度上，可以避免出现拍照或摄像离焦，图像帧中的运动的目标对象变得模糊的问题。
示例性的，本申请实施例中的电子设备可以为手机、平板、数码相机、摄像机和监控设备等具有光学成像功能的设备。
本申请实施例以电子设备为手机为例进行说明。图3为根据本申请的一些实施例，示出了一种手机100的结构示意图。
如图3所示，手机100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线（universal serial bus，USB）接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块（subscriber identification module，SIM）卡接口195等。
可以理解的是，本实施例示意的结构并不构成对手机100的具体限定。在另一些实施例中，手机100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器（application processor，AP），调制解调处理器，图形处理器（graphics processingunit，GPU），图像信号处理器（image signal processor，ISP），控制器，存储器，视频编解码器，数字信号处理器（digital signal processor，DSP），基带处理器，和/或神经网络处理器（neural-network processing unit，NPU）等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以是手机100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路（inter-integrated circuit，I2C）接口，集成电路内置音频（inter-integrated circuitsound，I2S）接口，脉冲编码调制（pulse code modulation，PCM）接口，通用异步收发传播器（universal asynchronous receiver/transmitter，UART）接口，移动产业处理器接口（mobile industry processor interface，MIPI），通用输入输出（general-purposeinput/output，GPIO）接口，用户标识模块（subscriber identity module，SIM）接口，和/或通用串行总线（universal serial bus，USB）接口等。
在处理器110确定图像帧中需要跟踪对焦的运动的目标对象后，处理器110便可以通过摄像头193中事件相机对应的图像传感器采集目标对象的运动事件对应的事件流信息。由于前述事件流信息能够用于得到包含较清晰的目标对象的事件帧图像，因此，处理器110可以基于前述事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置，并依据该运动位置控制摄像头193跟踪对焦运动的目标对象，以使摄像头193在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。如此，在一定程度上，可以避免出现拍照或摄像离焦，图像帧中的运动的目标对象变得模糊的问题。
可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对手机100的结构限定。在另一些实施例中，手机100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。在一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
手机100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。在一些实施例中，手机100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得手机100可以通过无线通信技术与网络以及其他设备通信。
天线1和天线2用于发射和接收电磁波信号。手机100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如，可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在手机100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器（lownoise amplifier，LNA）等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。
移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在手机100上的包括WLAN（如无线保真（wirelessfidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（global navigationsatellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（nearfield communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
手机100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。摄像头193用于捕获静态图像或视频。在一些实施例中，手机100可以包括1个或N个摄像头193，N为大于等于1的正整数。本申请实施例中，手机100启动摄像头193后，可以获取实时图像帧数据。
需要说明的是，事件相机是一种传感器，不同于传统相机拍摄一幅完整的图像，事件相机拍摄的是“事件”，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。普通相机与事件相机的输出信息差别：传统相机可以采集一段时间内像素的亮度值积累，受到感光和数据读取速率的限制，帧率非常有限，对于高速运动的物体存在运动模糊和响应时间长的问题。而事件相机是一种只对像素亮度变化敏感的相机，可以提供微秒级的响应信号，反应速度和动态范围大大优于现有的普通相机，因而很适合应用在高动态目标检测的场合。且本申请实施例拍摄的目标对象一般是运动的。因此，为了得到包含较清晰的运动的目标对象的事件帧图像，本申请实施例中的摄像头193可以包括事件相机。这样，事件相机对应的图像传感器可以实时检测到目标对象因为运动导致的像素点的亮度变化（该变化简称运动事件）。在处理器110确定图像帧中需要跟踪对焦的运动的目标对象后，处理器110便可以通过摄像头193中事件相机对应的图像传感器采集目标对象的运动事件对应的事件流信息。
本申请实施例中的摄像头193还可以包括传统相机，例如RGB相机。这样，处理器110便可以依据前述得到的运动位置控制摄像头193中的传统相机跟踪对焦运动的目标对象，以使摄像头193中的传统相机在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。
手机100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。该显示屏194包括显示面板。本申请实施例中，手机100通过摄像头193采集图像帧，并通过显示屏194显示预览界面；其中，预览界面中包括摄像头193采集的图像帧。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展手机100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行手机100的各种功能应用以及数据处理。例如，在本申请实施例中，处理器110可以通过执行存储在内部存储器121中的指令，内部存储器121可以包括存储程序区和存储数据区。
其中，存储程序区可存储操作系统，至少一个功能所需的应用程序（比如声音播放功能，业务抢占功能等）等。存储数据区可存储手机100使用过程中所创建的数据（比如音频数据，电话本等）等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器（universal flashstorage，UFS）等。
手机100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和手机100的接触和分离。手机100可以支持1个或N个SIM卡接口，N为大于等于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。
本申请实施例提供一种跟踪对焦方法，该方法可以应用于具有上述硬件结构的电子设备（如手机100）中。图4示出了一种跟踪对焦方法的流程示意图需要说明的是，在流程执行前，手机100已经开启了追踪对焦功能。当然，在其他一下实施例中，也可以在执行下面流程的过程中开启，这种方案将在下面介绍。如图4所示，本申请实施例提供的跟踪对焦方法可以包括如下步骤：
401：手机100响应于用户的第一操作，通过手机100的摄像头193采集图像帧，显示预览界面；其中，预览界面中包括摄像头193采集的图像帧。
手机100的主界面包括多个应用的图标，该多个应用包括相机应用。上述第一操作可以是：用户对相机应用的图标的点击操作。例如，图5示出了一种手机100的主界面的示意图，如图5所示，手机100的主界面包括相机应用的图标B。上述第一操作可以是：用户对相机应用的图标B的点击操作。一般而言，手机100响应于用户打开相机应用的操作，可以显示相机应用的主页面，即预览界面，该预览界面中显示的是手机100通过摄像头193采集的图像帧。
相机应用的主页面包括多个功能选项，该多个功能选项中包括录像选项，且该录像选项对应录像的开启按钮。上述第一操作可以是：用户对录像选项下的开启按钮的点击操作。一般而言，手机100响应于用户打开相机应用的录像的操作，可以显示录像界面，即录像预览界面，该录像预览界面中显示的是手机100通过摄像头193采集的图像帧。
手机100可以通过摄像头193获取摄像头193拍摄视野内实时的图像，显示在预览界面中。例如，图6示出了一种预览界面的示意图，如图6所示，预览界面中实时显示摄像头193拍摄视野内中的小狗的图像。
手机100通过摄像头193获取摄像头193拍摄视野内实时的图像，显示在预览界面中。这样，用户便可以根据预览界面中的图像帧的内容，选择需要跟踪对焦的目标对象，具体参见步骤402。
402：手机100响应于用户对预览界面的第二操作，确定图像帧中需要跟踪对焦的目标对象，并通过图像传感器采集目标对象的事件流信息；其中，事件流信息包括目标对象的运动事件发生的图像坐标，运动事件发生的时间戳和运动事件的极性，极性用于指示对应像素点是否发生亮度变化。
手机100可以通过摄像头193获取摄像头193拍摄视野内实时的图像，显示在预览界面中。这样，手机100响应于用户对预览界面中目标对象的点击操作，便可以确定图像帧中需要跟踪对焦的目标对象。即第二操作可以是：用户对预览界面中目标对象的点击操作。
手机100的事件相机对应的图像传感器可以实时检测到目标对象因为运动导致的像素点的亮度变化（该变化简称运动事件）。这样，在手机100确定图像帧中需要跟踪对焦的运动的目标对象后，手机100便可以通过摄像头193中事件相机对应的图像传感器采集目标对象的运动事件对应的事件流信息，其中，事件流信息包括目标对象的运动事件发生的图像坐标，运动事件发生的时间戳和运动事件的极性，极性用于指示对应像素点是否发生亮度变化。需要说明的是，事件相机的最基本的原理，即：当某个像素的亮度变化累计达到一定阈值后，输出一个事件，其中，阈值是事件相机的固有参数。事件相机采集的目标对象的运动事件具有三要素：时间戳、像素坐标与极性。该三要素表达的是“在什么时间，哪个像素点，发生了亮度的增加或减小”，这些要素构成了事件流信息。
前述事件流信息用于预测目标对象在当前时刻之后的时间的运动位置，以便手机100依据该运动位置控制摄像头193跟踪对焦运动的目标对象，以使摄像头193在目标对象运动的过程中仍能够拍摄到包含较清晰的目标对象的图像。
在其他一些实施例中，若在执行该步骤前，手机100未开启追踪对焦功能，则手机100检测到用户点击图像帧的情况下，会显示提示信息，该提示信息用于提示用户是否开启追踪对焦功能。如此，用户看到该提示信息后，便会根据自身意愿决定是否在相机应用的设置界面中选择追踪对焦功能，提升用户体验。
手机100可以响应于用户对相机应用的设置界面中的追踪对焦功能按钮的开启操作，开启追踪对焦功能。例如，如图6所示，手机100检测到用户对设置图标C的点击操作,会显示设置界面。例如，图7示出了一种设置界面的示意图，如图7所示的设置界面，该设置界面中可以包括目标跟踪按钮D，该目标跟踪按钮D用于根据用户的操作开启追踪对焦功能。手机100检测到用户对目标跟踪按钮D的开启操作，便可以开启追踪对焦功能。
在一些实施例中，手机100响应于用户操作所确定的图像帧中需要跟踪对焦的目标对象后，会显示第一跟踪框，该第一跟踪框用于框选需要跟踪对焦的目标对象。需要说明的是，跟踪框可以在图像帧中以实线边框作为标识，提示用户所选的目标对象所在的目标区域。
403:手机100基于目标对象的事件流信息，采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置。
由于前述事件流信息能够用于得到包含较清晰的目标对象的事件帧图像，因此，电子设备可以基于前述事件流信息，采用预设目标轨迹预测模型较准确的预测目标对象在当前时刻之后的时间的运动位置。
可以理解，手机100通过摄像头193获取摄像头193拍摄视野内实时的图像，显示在预览界面中。当前时刻可以代指显示预览界面的任意时刻。本申请实施例中，以当前时刻为例，介绍手机100对显示预览界面的任意时刻之后第一预设时间内图像帧中的目标对象的进行跟踪对焦方法。第一预设时间内可以指采集目标对象的事件流信息的一个周期。
运动位置可以包括目标对象的质心坐标；或者，运动位置包括目标对象的质心坐标和对焦尺寸；其中，对焦尺寸为用于对焦目标对象的区域大小。这样，手机100便可以基于目标对象在第一预设时间内的质心坐标控制摄像头193对焦目标对象。或者，手机100便可以基于目标对象在第一预设时间内的质心坐标和对焦尺寸控制摄像头193对焦目标对象。
一般而言，除第一帧事件帧外，当前时刻及之前，手机100已经有多帧事件帧图像。这样，手机100便可以基于前述多帧事件帧图像，预测目标对象在当前时刻之后第一预设时间内的运动位置。具体的，在一些实施例中，图8示出了一种跟踪对焦方法的流程示意图，如图8所示，步骤403可以包括如下步骤4031和4032:
4031：手机100基于目标对象的事件流信息得到当前时刻及之前的N帧事件帧图像；其中，事件帧图像包括目标对象的图像，N为大于等于2的整数。
当前时刻及之前可以具有多个预设事件周期，每个预设事件周期至少对应一个事件帧图像。因此，手机100可以基于当前时刻及之前的目标对象的事件流信息可以得到当前时刻及之前的多帧事件帧图像，多帧事件帧图像可以用N帧事件帧图像表示。
可以理解，当场景中由物体运动或光照改变造成大量像素变化时，会产生一系列的事件，这些事件以事件流(Events stream)方式输出。事件流为由一系列按时间排序的事件（x, y, t, p），其中（x, y）为事件发生的图像坐标，t为事件发生的时间戳，p为事件的极性0/1，1表示亮度的增加，0表示亮度的减小。
对于采集到的事件流信息，按照预设事件周期，将每个预设事件周期内发生的事件，按照极性的不同将其分别叠加，即一个周期内获得两张事件帧图像，便可以得到目标对象轮廓较清晰的事件帧图像。按照极性的不同将其分别叠加可以指，无事件发生处图像像素点灰度值取零，可以用表示，有事件发生处图像像素点灰度的取值为该像素点处对应极性事件的灰度值的总和，可以用/>表示，其中，/>表示该像素点处对应极性事件的灰度值的总和。
在一些实施例中，事件帧图像尺寸等于事件相机对应的图像传感器的像素尺寸。
4032: 手机100基于N帧事件帧图像，采用预设目标轨迹预测模型预测目标对象在第一预设时间内的运动位置。
手机100可以基于前述4031得到的N帧事件帧图像，采用预设目标轨迹预测模型预测目标对象在第一预设时间内的运动位置。
一般情况下，若目标对象运动过快，会存在焦点难以跟随目标对象，从而出现拍照或摄像离焦，图像帧中的目标对象变得模糊的问题，则手机100可以采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置，基于目标对象在第一预设时间内的运动位置控制摄像头193对焦目标对象，以实现焦点始终落在运动的目标对象上。若目标对象运动较慢，不存在拍照或摄像离焦，图像帧中的目标对象变得模糊的问题，则手机100可以基于当前时刻的质心坐标控制摄像头193对焦目标对象。
具体的，在手机100基于目标对象的事件流信息得到当前时刻及之前的N帧事件帧图像的情况下，图9示出了一种跟踪对焦方法的流程示意图，如图9所示，在4032之前，本申请实施例的方法还可以包括步骤4032a至4032d。
4032a：手机100从N帧事件帧图像中确定当前时刻之前的n帧事件帧图像中目标对象的质心坐标；其中，n小于等于N。
可以理解，手机100可以确定当前时刻之前小于等于N帧事件帧图像中目标对象的质心坐标，该些质心坐标用于计算目标对象在当前时刻之前至当前时刻的运动速度。若n小于N，n，则手机100基于n帧事件帧图像中目标对象的质心坐标计算出的运动速度便可以粗略估计目标对象在当前时刻之前至当前时刻的运动速度。若n等于N，n，则手机100基于n帧事件帧图像中目标对象的质心坐标计算出的运动速度便可以较准确估计目标对象在当前时刻之前至当前时刻的运动速度。
4032b：手机100基于n帧事件帧图像中目标对象的质心坐标，计算目标对象的运动速度。
在一些实施例中，手机100可以基于n帧事件帧图像的质心坐标，利用第一计算公式计算目标对象的运动速度；其中，第一计算公式计算如下：
，
其中，表示目标对象的运动速度，n 表示当前时刻之前的事件帧图像的数量，(/>,/>)表示第i-1帧事件帧图像中目标对象的质心坐标，(/>,/>)表示第i帧事件帧图像中目标对象的质心坐标。
4032c：手机100判断运动速度是否大于速度阈值。若是，则转至4032，若否，则转至4032d。
若运动速度大于速度阈值，则基于N帧事件帧图像，采用预设目标轨迹预测模型预测目标对象在当前时刻之后的第一预设时间内的运动位置，具体见步骤4032。若运动速度小于等于速度阈值，则基于当前时刻目标对象的运动位置控制摄像头对焦目标对象，具体见步骤4032d。
当目标对象运动速度较快时，手机100可以使用事件流信息获取目标对象实时位置，辅助对焦；当目标对象运动速度极快时，手机100便可以使用预测模型获得未来的运动位置，保证不丢失目标对象，当速度降为较快状态再进行对焦。
4032d：手机100基于当前时刻目标对象的运动位置控制摄像头对焦目标对象。
一般情况下，事件帧图像中除了包括目标对象的图像元素，还包括非目标对象的图像元素，非目标对象的图像元素为噪声元素，可能会影响手机100预测目标对象的运动位置的准确度。为了提高手机100预测目标对象的运动位置的准确度。手机100可以对事件帧图像进行去噪处理。具体的，在一些实施例中，手机100对N帧事件帧图像进行去噪处理；其中，去噪处理包括去除非目标对象的图像元素的操作。
手机100对N帧事件帧图像进行去噪处理的一种方案可以是：
针对N帧事件帧图像中的每帧事件帧图像进行如下去噪处理，具体包括如下步骤501至504：
501：手机100基于预设卷积层参数对待卷积的每帧事件帧图像进行卷积运算，得到与待卷积的每帧事件帧图像尺寸相同的特征图，其中，预设卷积层参数包括预设去噪算子、卷积步长和填充大小和填充方式。
需要说明的是，预设卷积层参数包括预设去噪算子、卷积步长和填充大小和填充方式，这些参数共同决定了卷积层输出特征图的尺寸 。
本申请中，预设去噪算子可以是本领域技术人员根据实际情况设置的。该预设去噪算子为一个矩阵，例如，图10示出了一种去噪算子的结构示意图，如图10所示的3*3的矩阵。
卷积步长定义了卷积核相邻两次扫过特征图时位置的距离，卷积步长为1时，卷积核会逐个扫过特征图的元素。本申请中，为了对待卷积的每帧事件帧图像中的每个像素点均进行卷积运算，将卷积步长设置为1。
填充（padding）是在特征图通过卷积核之前人为增大其尺寸以抵消计算中尺寸收缩影响的方法，为了得到与待卷积的每帧事件帧图像尺寸相同的特征图，需要先对待卷积的每帧事件帧图像进行填充操作。具体的，手机100先将待卷积的每帧事件帧图像扩大至预设尺寸，该预设尺寸用于在与预设去噪算子进行卷积运算后，得到与待卷积的每帧事件帧图像尺寸相同的特征图。其中，扩大的像素点的像素值填充为预设值，预设值可以为0。
例如，图11示出了事件帧图像去噪的过程示意图。如图11所示，待卷积的事件帧图像B的尺寸为4*4，若对待卷积的事件帧图像B进行卷积的预设去噪算子是图10所示的尺寸为3*3算子且卷积步长为1，为了得到尺寸为4*4的特征图卷积结果，则将待卷积的事件帧图像B的尺寸扩大为6*6的事件帧图像B’，其中，扩大的像素点的像素值填充为0。
手机100可以基于图10所示的预设去噪算子，卷积步长为1，对填充后的事件帧图像B’进行卷积运算，得到特征图C。
502：手机100遍历特征图中每个第一位置的第一像素点的像素值，判断第一像素点的像素值大于零还是等于零。若是大于零，则转至503。若是等于零，则转至504。
第一像素点并不是仅指特征图中的一个像素点，而是指代特征图中的任意像素点。若特征图中第一像素点的像素值大于零，则将待卷积的事件帧图像的第一位置的第一像素点的原始像素值作为去噪后的事件帧图像中第一位置的第一像素点的像素值；若特征图中第一像素点的像素值等于零，则将第一位置的第一像素点的像素值取零作为去噪后的事件帧图像中第一位置的第一像素点的像素值。
503：手机100将待卷积的事件帧图像的第一位置的第一像素点的原始像素值作为去噪后的事件帧图像中第一位置的第一像素点的像素值。
例如，如图11所示，特征图C中第一行第一列的第一像素点的像素值为5，大于0，则手机100将待卷积的事件帧图像B的第一行第一列的第一像素点的的原始像素值3作为去噪后的事件帧图像B”中第一行第一列的第一像素点的像素值。
504：手机100将第一位置的第一像素点的像素值取零作为去噪后的事件帧图像中第一位置的第一像素点的像素值。
例如，如图11所示，特征图C中第四行第一列的第一像素点的像素值为0，等于0，则手机100将待卷积的事件帧图像B的第四行第一列的第一像素点的像素值取零后作为去噪后的事件帧图像B”中第四行第一列的第一像素点的像素值。
下面介绍目标轨迹预测模型的训练过程。可以理解，目标轨迹预测模型在初步建立阶段，可以执行以下步骤1和步骤2，以得到用于训练上述目标轨迹预测模型的多个训练样本。步骤1：采集运动的目标对象（例如儿童、鸟、鱼）在预设时间段内的事件帧图像。步骤2，运动的目标对象在当前时刻之后第一预设时间内的运动位置。
可以理解，初步建立目标轨迹预测模型的阶段中是采用上述训练样本，训练目标轨迹预测模型的。因此，经过多次样本训练后的目标轨迹预测模型，则可以具备采用运动的目标对象在预设时间段内的事件流信息，得到运动的目标对象在当前时刻之后第一预设时间内的运动位置的功能。并且，样本种类丰富、训练次数充分、网络模型结构合理优化都能一定程度提高模型的预测性能。因此，本申请实施例中，手机中预先配置的目标轨迹预测模型可以是经过大量样本训练的AI模型。
示例性的，上述AI模型可以为基于Transformer的目标轨迹预测算法，本申请实施例对此不作限制。
本申请实施例搭建的目标轨迹预测模型可以由3个部分组成：卷积部分、Transformer部分、全连接部分。例如，图12示出了一种目标轨迹预测模型的结构示意图。如图12所示，目标轨迹预测模型包括输入层、卷积层、全连接层、Transformer、全连接层和输出层，输入层、卷积层、全连接层、Transformer、全连接层和输出层依次连接。其中，卷积部分结构如下：每个卷积层由3个卷积层组成，卷积层1、卷积层2和卷积层3。Transformer部分结构如下：由3个编码器模块（例如编码器1、编码器2和编码器3）和3个解码器模块（例如解码器1、解码器2和解码器3）构成。
图13示出了一种卷积层的结构示意图。如图13所示，卷积层包括卷积函数、归一化函数和激活函数（例如ReLU）、卷积函数、归一化函数和激活函数依次连接。其中，卷积函数中卷积核 (kernel_size)的尺寸3*3。
图14示出了一种编码器的结构示意图。如图14所示，编码器包括前馈和多头注意力机制（Multi-Head attention），多头注意力机制和前馈依次连接。
图15示出了一种解码器的结构示意图。如图15所示，解码器包括前馈、编码器-解码器注意力机制和多头注意力机制，多头注意力机制、前馈和编码器-解码器注意力机制依次连接。
在一些实施例中，已经训练好的目标轨迹预测模型还用于预测目标对象当前时刻之后的第二预设时间范围内的运动轨迹，然后手机100显示运动轨迹。例如，图16示出了一种预览界面的示意图，如图16所示的运动轨迹3。具体的，在一些实施例中，手机100采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置之后，该方法还包括：手机100在预览界面显示目标对象在当前时刻之后第一预设时间内的运动位置对应的运动轨迹。
对于运动的目标对象当前时刻之后的运动轨迹，可表现在预览界面中予以提示。若运动轨迹表明目标对象会离开摄像头193的拍摄范围，则显示提示信息，提示信息用于提示用户移动手机100的拍摄方向。例如，图17示出了一种预览界面的示意图，如图17所示，手机100显示提示信息：目标对象将要离开当前视野，请调整拍摄方向。对于预测的目标运动未来轨迹中将要离开当前视野的情况，给予系统提示，调整移动拍摄方向，保证运动的目标对象保持在视角居中位置，防止目标对象的丢失。具体的，在一些实施例中，手机100采用预设目标轨迹预测模型预测目标对象在当前时刻之后第一预设时间内的运动位置之后，该方法还包括：若目标对象在二预设时间内的运动位置表明目标对象将离开摄像头的拍摄范围，则手机100显示提示信息，其中，提示信息用于提示用户沿运动位置对应的运动轨迹的方向移动电子设备。
在其他一些实施例中，若运动轨迹表明目标对象将离开摄像头193的拍摄范围，还可以同时显示运动轨迹和提示信息。具体的，手机100显示未离开摄像头193的拍摄范围之前的运动轨迹，并显示提示信息，提示信息用于提示用户移动手机100的拍摄方向。
在一些实施例中，跟踪框的位置是可以随着目标对象的运动而移动的。手机100在用户操作选择目标对象后，可以显示第一跟踪框，第一跟踪框用于框选当前时刻需要跟踪对焦的目标对象。当已经训练好的目标轨迹预测模型预测出目标对象在当前时刻之后第一预设时间内的运动位置，则可以显示第二跟踪框，第二跟踪框用于框选当前时刻之后第一预设时间内的运动位置处对应的目标对象。这样，便可以以醒目的方式提示用户目标对象运动后的位置，提升用户的体验。
404：手机100基于目标对象在第一预设时间内的运动位置控制摄像头193对焦目标对象。
手机100可以基于目标对象的运动位置控制摄像头193对焦运动的目标对象，保证摄像头193的焦点会跟随目标对象。如此，在一定程度上，可以避免出现拍照或摄像离焦，图像帧中的运动的目标对象变得模糊的问题。
可以理解，手机100会周期性执行上述步骤403至404，进入本申请实施例中的循环，跳出循环的条件为以下之一：
手机100检测到用户退出相机应用操作界面的操作。
手机100用户切换拍摄模式。例如，从跟踪对焦的拍摄模式切换至普通拍摄模式。
手机100的事件相机丢失目标对象的事件流信息。
下面基于图像信号处理器（image signal processor，ISP）和神经网络处理器（neural-network processing unit，NPU），介绍本申请的跟踪对焦方案。
图18示出了跟踪对焦方案的原理示意图，如图18所示，本申请中所提到的事件相机传感器和RGB传感器，通过一个传感器实现，光照变化情况由传感器上的光电二极管采集，并通过两路电路分别输出，即每颗像素可以同时能够输出事件流信息和有源像素传感器（Active Pixel Sensor,APS）信息。
同一颗传感器分别采集事件帧图像和RGB图像，使得图像中的特征目标不存在空间坐标系上的偏离，并且占用手机100更少的体积，另外，两类信息流之间的延迟时间能够更好的确定和量化，因此，有助于消除两类图像的时间和空间的配准问题。
图18包括如下步骤：
a.摄像头193的事件相机对应的图像传感器采集目标对象的事件流信息。
b.摄像头193将事件流信息传入ISP进行处理，得到事件帧图像。事件帧图像的预处理（例如事件帧图像的去噪、目标对象的质心坐标等）、也可以由ISP计算得到目标对象的运动速度。
c.ISP将得到事件帧图像传入NPU，利用目标轨迹预测模型进行预测，得到预测结果：目标对象在当前时刻之后第一预设时间内的运动位置。具体的，目标对象的运动速度（由步骤b得到目标对象的运动速度）较快的情况（例如，目标对象的运动速度大于速度阈值）对应的实施流程为步骤c。目标对象的运动速度小于等于速度阈值时，不用经过NPU进行预测，此时ISP直接根据目标对象当前时刻的运动位置用RGB相机进行对焦，目标对象的运动速度较慢的情况（例如，目标对象的运动速度小于速度阈值）对应的实施流程为步骤：a-b-f-g-h-i。
d.NPU输出预测结果：目标对象在当前时刻之后第一预设时间内的运动位置。
e.预测结果被NPU传回ISP。
f.ISP命令摄像头193的传统相机进行对焦。
g.摄像头193的传统相机对应的有源像素传感器输出APS信息。
h.有源像素传感器将APS信息传入ISP进行处理。
i.ISP输出对焦后的RGB图像。
在上述步骤f中，手机100可以获得目标轨迹预测模型输出的预测结果：，和/>表示运动的目标对象的质心坐标、W和H分别表示对焦区域的长度和宽度。然后，手机100以此对焦区域为进行对焦的区域，使用摄像头193的传感器的对焦功能（包括且不限于相位对焦、对比度对焦）对该对焦区域进行对焦，实现焦点始终落在被跟随的运动目标上。
本申请另一实施例提供了一种电子设备，该电子设备包括：存储器和一个或多个处理器。该存储器与处理器耦合。其中，上述存储器中还存储有计算机程序代码，该计算机程序代码包括计算机指令。当计算机指令被处理器执行时，电子设备可执行上述方法实施例中手机100执行的各个功能或者步骤。该电子设备的结构可以参考图3所示的手机100的结构。
本申请实施例还提供一种计算机可读存储介质，该计算机存储介质包括计算机指令，当计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中手机100执行的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述方法实施例中手机100执行的各个功能或者步骤。该计算机可以是上述电子设备（如手机100）。
本申请公开的机制的各实施例可以被实现在硬件、软件、固件或这些实现方法的组合中。本申请的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统（包括易失性和非易失性存储器和/或存储元件）、至少一个输入设备以及至少一个输出设备。
可将程序代码应用于输入指令，以执行本申请描述的各功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有诸如例如数字信号处理器（Digital Signal Processor，DSP)、微控制器、专用集成电路（Application Specific Integrated Circuit，ASIC)或微处理器之类的处理器的任何系统。
程序代码可以用高级程序化语言或面向对象的编程语言来实现，以便与处理系统通信。在需要时，也可用汇编语言或机器语言来实现程序代码。事实上，本申请中描述的机制不限于任何特定编程语言的范围。在任一情形下，该语言可以是编译语言或解释语言。
在一些情况下，所公开的实施例可以以硬件、固件、软件或其任何组合来实现。所公开的实施例还可以被实现为由一个或多个暂时或非暂时性机器可读（例如，计算机可读）存储介质承载或存储在其上的指令，其可以由一个或多个处理器读取和执行。例如，指令可以通过网络或通过其他计算机可读存储介质分发。因此，机器可读存储介质可以包括用于以机器（例如，计算机）可读的形式存储或传播信息的任何机制，包括但不限于，软盘、光盘、光碟、只读存储器（CD-ROMs）、磁光盘、只读存储器（Read Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、可擦除可编程只读存储器（Erasable ProgrammableRead Only Memory，EPROM）、电可擦除可编程只读存储器（Electrically ErasableProgrammable Read-Only Memory，EEPROM）、磁卡或光卡、闪存、或用于基于因特网以电、光、声或其他形式的传播信号来传播信息（例如，载波、红外信号数字信号等）的有形的机器可读存储器。因此，机器可读存储介质包括适合于以机器（例如计算机）可读的形式存储或传播电子指令或信息的任何类型的机器可读存储介质。
在附图中，可以以特定布置和/或顺序示出一些结构或方法特征。 然而，应该理解，可能不需要这样的特定布置和/或排序。而是，在一些实施例中，这些特征可以以不同于说明性附图中所示的方式和/或顺序来布置。另外，在特定图中包括结构或方法特征并不意味着暗示在所有实施例中都需要这样的特征，并且在一些实施例中，可以不包括这些特征或者可以与其他特征组合。
需要说明的是，本申请各设备实施例中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元/模块可以是一个物理单元/模块，也可以是一个物理单元/模块的一部分，还可以以多个物理单元/模块的组合实现，这些逻辑单元/模块本身的物理实现方式并不是最重要的，这些逻辑单元/模块所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部分，本申请上述各设备实施例并没有将与解决本申请所提出的技术问题关系不太密切的单元/模块引入，这并不表明上述设备实施例并不存在其它的单元/模块。
需要说明的是，在本专利的示例和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施例，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。
Claims (8)
1.一种跟踪对焦方法，其特征在于，所述方法应用于电子设备，所述电子设备包括摄像头，所述摄像头包括图像传感器，所述方法包括：
响应于用户的第一操作，通过所述电子设备的摄像头采集图像帧，显示预览界面；其中，所述预览界面中包括所述摄像头采集的图像帧；
响应于用户对所述预览界面的第二操作，确定所述图像帧中需要跟踪对焦的目标对象，并通过所述图像传感器采集所述目标对象的事件流信息；其中，所述事件流信息包括所述目标对象的运动事件发生的图像坐标，所述运动事件发生的时间戳和所述运动事件的极性，所述极性用于指示对应像素点是否发生亮度变化；
基于所述目标对象的事件流信息，采用预设目标轨迹预测模型预测所述目标对象在当前时刻之后第一预设时间内的运动位置，包括：基于所述目标对象的事件流信息得到所述当前时刻及之前的N帧事件帧图像；其中，所述事件帧图像包括所述目标对象的图像，N为大于等于2的整数；
从N帧事件帧图像中确定所述当前时刻之前的n帧事件帧图像中所述目标对象的质心坐标；其中，n小于等于N；
基于所述n帧事件帧图像中所述目标对象的质心坐标，计算所述目标对象的运动速度；若所述运动速度大于速度阈值，对所述N帧事件帧图像进行去噪处理；其中，所述去噪处理包括去除非所述目标对象的图像元素的操作；对所述N帧事件帧图像进行去噪处理，包括：
针对所述N帧事件帧图像中的每帧事件帧图像进行如下去噪处理：
基于预设卷积层参数对待卷积的每帧事件帧图像进行卷积运算，得到与所述待卷积的每帧事件帧图像尺寸相同的特征图，其中，所述预设卷积层参数包括预设去噪算子、卷积步长、填充大小和填充方式；
若所述特征图中第一像素点的像素值大于零，则将所述待卷积的事件帧图像的第一位置的所述第一像素点的原始像素值作为去噪后的事件帧图像中所述第一位置的所述第一像素点的像素值，其中，所述第一像素点为所述特征图中的任意一个像素点；
若所述特征图中所述第一像素点的像素值等于零，则将所述第一位置的第一像素点的像素值取零作为去噪后的事件帧图像中所述第一位置的第一像素点的像素值；
基于去噪处理后的所述N帧事件帧图像，采用所述预设目标轨迹预测模型预测所述目标对象在所述第一预设时间内的运动位置；
基于所述目标对象在所述第一预设时间内的运动位置控制所述摄像头对焦所述目标对象。
2.根据权利要求1所述的方法，其特征在于，所述基于所述n帧事件帧图像中所述目标对象的质心坐标，计算所述目标对象的运动速度，包括：
基于所述n帧事件帧图像的质心坐标，利用第一计算公式计算所述目标对象的运动速度；其中，所述第一计算公式计算如下：
，
其中，表示所述目标对象的运动速度，n 表示所述当前时刻之前的事件帧图像的数量,（/>，/>）表示第i-1帧事件帧图像中所述目标对象的质心坐标，(/>,/>)表示第i帧事件帧图像中所述目标对象的质心坐标。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述运动速度小于等于速度阈值，则基于所述当前时刻所述目标对象的运动位置控制所述摄像头对焦所述目标对象。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述采用预设目标轨迹预测模型预测所述目标对象在当前时刻之后第一预设时间内的运动位置之后，所述方法还包括：
在所述预览界面显示所述目标对象在当前时刻之后第二预设时间内的运动位置对应的运动轨迹。
5.根据权利要求1-3中任一项所述的方法，其特征在于，所述采用预设目标轨迹预测模型预测所述目标对象在当前时刻之后第一预设时间内的运动位置之后，所述方法还包括：
若所述目标对象在所述第一预设时间内的运动位置表明所述目标对象将离开所述摄像头的拍摄范围，则显示提示信息，其中，所述提示信息用于提示用户沿所述运动位置对应的运动轨迹的方向移动所述电子设备。
6.根据权利要求1所述的方法，其特征在于，所述运动位置包括所述目标对象的质心坐标；或者，所述运动位置包括所述目标对象的质心坐标和对焦尺寸；其中，所述对焦尺寸为用于对焦所述目标对象的区域大小。
7.一种电子设备，其特征在于，包括存储器和一个或多个处理器；所述存储器用于存储代码指令；所述处理器用于运行所述代码指令，使得所述电子设备执行如权利要求1-6中任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042421.XA CN116055844B (zh) | 2023-01-28 | 2023-01-28 | 一种跟踪对焦方法、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310042421.XA CN116055844B (zh) | 2023-01-28 | 2023-01-28 | 一种跟踪对焦方法、电子设备和计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116055844A CN116055844A (zh) | 2023-05-02 |
| CN116055844B true CN116055844B (zh) | 2024-05-31 |
Family
ID=86112924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310042421.XA Active CN116055844B (zh) | 2023-01-28 | 2023-01-28 | 一种跟踪对焦方法、电子设备和计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116055844B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117714848A (zh) * | 2023-08-11 | 2024-03-15 | 荣耀终端有限公司 | 追焦方法、电子设备及可读介质 |
| CN117692771B (zh) * | 2023-08-16 | 2024-09-24 | 荣耀终端有限公司 | 一种对焦方法及相关装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106961552A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种对焦控制方法及电子设备 |
| CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
| CN111275653A (zh) * | 2020-02-28 | 2020-06-12 | 北京松果电子有限公司 | 图像去噪方法及装置 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN112634175A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于双重卷积网络的手机拍摄图像去噪方法 |
| CN112669344A (zh) * | 2020-12-24 | 2021-04-16 | 北京灵汐科技有限公司 | 一种运动物体的定位方法、装置、电子设备及存储介质 |
| WO2021258321A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 一种图像获取方法以及装置 |
-
2023
- 2023-01-28 CN CN202310042421.XA patent/CN116055844B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106961552A (zh) * | 2017-03-27 | 2017-07-18 | 联想(北京)有限公司 | 一种对焦控制方法及电子设备 |
| CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
| CN111369451A (zh) * | 2020-02-24 | 2020-07-03 | 西华大学 | 一种基于复杂任务分解正则化的图像复原模型、方法及设备 |
| CN111275653A (zh) * | 2020-02-28 | 2020-06-12 | 北京松果电子有限公司 | 图像去噪方法及装置 |
| WO2021258321A1 (zh) * | 2020-06-24 | 2021-12-30 | 华为技术有限公司 | 一种图像获取方法以及装置 |
| CN112669344A (zh) * | 2020-12-24 | 2021-04-16 | 北京灵汐科技有限公司 | 一种运动物体的定位方法、装置、电子设备及存储介质 |
| CN112634175A (zh) * | 2021-01-05 | 2021-04-09 | 西南石油大学 | 基于双重卷积网络的手机拍摄图像去噪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116055844A (zh) | 2023-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11860511B2 (en) | Image pickup device and method of tracking subject thereof | |
| CN112422863B (zh) | 一种视频拍摄方法、电子设备和存储介质 | |
| EP3633975B1 (en) | Photographic method, photographic apparatus, and mobile terminal | |
| CN116055844B (zh) | 一种跟踪对焦方法、电子设备和计算机可读存储介质 | |
| CN107820021B (zh) | 自动图像捕捉 | |
| US8724981B2 (en) | Imaging apparatus, focus position detecting method, and computer program product | |
| CN113630545B (zh) | 一种拍摄方法及设备 | |
| CN111601040B (zh) | 摄像头控制方法、装置及电子设备 | |
| US10455154B2 (en) | Image processing device, image processing method, and program including stable image estimation and main subject determination | |
| CN103108121A (zh) | 基于图像的移动传感器、多功能摄像系统及其电子装置 | |
| CN108156378B (zh) | 拍照方法、移动终端及计算机可读存储介质 | |
| CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP4290164B2 (ja) | 識別領域を示す表示を画像と共に表示させる表示方法、コンピュータ装置に実行させるプログラム、および、撮像装置 | |
| CN113099122A (zh) | 拍摄方法、装置、设备和存储介质 | |
| US12096124B2 (en) | Subject tracking device, subject tracking method, and storage medium | |
| CN117857920A (zh) | 一种对焦方法和电子设备 | |
| CN114466129A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN115484383B (zh) | 拍摄方法及相关装置 | |
| CN115134536B (zh) | 拍摄方法及其装置 | |
| CN111726531B (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
| JP5383361B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
| CN113315903B (zh) | 图像获取方法和装置、电子设备、存储介质 | |
| CN114390191A (zh) | 录像方法、电子设备及存储介质 | |
| US20140226023A1 (en) | Imaging apparatus, control method, and program | |
| CN117998203B (zh) | 一种图像处理方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |