CN113784036A - 设备对焦方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请公开了一种设备对焦方法、装置、存储介质及电子设备。该设备对焦方法可以应用于电子设备，该设备对焦方法包括：获取预设传感器的输出数据；将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。本申请可以提高电子设备在拍摄图像时的对焦速度。

Description

设备对焦方法、装置、存储介质及电子设备

技术领域

本申请属于图像技术领域，尤其涉及一种设备对焦方法、装置、存储介质及电子设备。

背景技术

随着电子设备的影像能力越来越强大，用户经常会使用电子设备拍摄图像，如拍摄照片或者录制视频等。在图像的拍摄过程中，对焦是重要的一环。常见的对焦方式有反差对焦、相位对焦、激光对焦和红外对焦等。然而，相关技术中，电子设备在拍摄图像时对焦仍然较慢。

发明内容

本申请实施例提供一种设备对焦方法、装置、存储介质及电子设备，可以提高电子设备在拍摄图像时的对焦速度。

第一方面，本申请实施例提供一种设备对焦方法，应用于电子设备，所述方法包括：

获取预设传感器的输出数据；

将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

第二方面，本申请实施例提供一种设备对焦装置，应用于电子设备，所述装置包括：

获取模块，用于获取预设传感器的输出数据；

处理模块，用于将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

控制模块，用于根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

第三方面，本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行本申请实施例提供的设备对焦方法中的流程。

第四方面，本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，以执行本申请实施例提供的设备对焦方法中的流程。

本申请实施例中，电子设备可以获取预设传感器的输出数据，将该预设传感器的输出数据输入至预设模型中，并获取该预设模型输出的对焦参数。之后，电子设备可以根据该预设模型输出的对焦参数进行对焦。其中，该预设模型经过预先学习训练并已学习到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系。因此，本申请实施例中，电子设备可以根据预设传感器的输出数据来预测能够清晰对焦的对焦参数，并根据该对焦参数来进行对焦。因此，本申请实施例可以根据预设传感器的输出数据快速得到对焦参数，即本申请实施例可以提高电子设备进行对焦的速度。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其有益效果显而易见。

图1是本申请实施例提供的设备对焦方法的流程示意图。

图2是本申请实施例提供的设备对焦方法的另一流程示意图。

图3是本申请实施例提供的多媒体处理芯片的结构示意图。

图4是本申请实施例提供的电子设备的第一种结构示意图。

图5是本申请实施例提供的设备对焦方法的又一流程示意图。

图6是本申请实施例提供的设备对焦装置的结构示意图。

图7是本申请实施例提供的电子设备的第二种结构示意图。

图8是本申请实施例提供的电子设备的第三种结构示意图。

具体实施方式

请参照图示，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像模组、能够进行图像拍摄的电子设备。

请参阅图1，图1是本申请实施例提供的设备对焦方法的流程示意图，流程可以包括：

101、获取预设传感器的输出数据。

随着电子设备的影像能力越来越强大，用户经常会使用电子设备拍摄图像，如拍摄照片或者录制视频等。在图像的拍摄过程中，对焦是重要的一环。常见的对焦方式有反差对焦、相位对焦、激光对焦和红外对焦等。然而，相关技术中，电子设备在拍摄图像时对焦仍然较慢。比如，相关技术中，为了对焦，电子设备需要先获取图像传感器采集的图像数据，然后将该图像数据传输给图像信号处理器进行处理，从而计算得到3A信息(即自动对焦、自动曝光、自动白平衡的信息)，再由电子设备根据该3A信息进行对焦。但是，电子设备计算的3A信息往往具有滞后性，从而导致对焦过程耗时较长。即，电子设备对焦的速度较慢。

在本申请实施例中，比如，电子设备可以先获取预设传感器的输出数据。

在一些实施方式中，预设传感器可以是一些和对焦信息强相关的传感器，或者，预设传感器也可以是由多个和对焦信息强相关的传感器组成的传感器组合。比如，预设传感器可以是诸如加速度传感器(G-sensor)或者陀螺仪传感器等。例如，由于加速度传感器能够用于感知电子设备的位移或运动情况，而电子设备的位移和运动情况对电子设备是否能够稳定地进行对焦至关重要，因此加速度传感器是和对焦信息强相关的传感器，可以将其作为预设传感器。或者，预设传感器可以包括加速度传感器和陀螺仪传感器组成的组合。

102、将预设传感器的输出数据输入至预设模型，并获取该预设模型输出的对焦参数，其中，该预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系。

比如，在获取到预设传感器的输出数据后，电子设备可以将该预设传感器的输出数据输入至预设模型中，并获取该预设模型输出的对焦参数。其中，该预设模型可以是利用机器学习的方式经过预先的学习训练并已学习到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系的神经网络模型(Neural Networks，NN)。即，将预设传感器的输出数据输入到预设模型中，该预设模型通过计算可以输出一个和该预设传感器的输出数据对应的、可以用于对焦的对焦参数。

在一种实施方式中，本申请实施例可以不对预设模型具体使用何种神经网络模型进行限定，只要是能够用于学习训练预设传感器的输出数据和清晰对焦的对焦参数之间的对应关系的神经网络模型即可。

例如，电子设备可以获取训练样本，每一训练样本包括电子设备清晰对焦之前采集到的预设传感器的输出数据和清晰对焦时使用的对焦参数这两个信息。之后，电子设备可以获取一神经网络模型，并基于训练样本进行学习训练，从而学习到预设传感器的输出数据和清晰对焦的对焦参数之间的对应关系。之后，利用预设模型，电子设备就可以根据预设传感器的输出数据来预测得到能够清晰对焦的对焦参数。

103、根据预设模型输出的对焦参数，控制电子设备进行对焦。

比如，在获取到预设模型输出的对焦参数后，电子设备可以根据该预设模型输出的对焦参数进行对焦。

可以理解的是，本申请实施例中，电子设备可以获取预设传感器的输出数据，将该预设传感器的输出数据输入至预设模型中，并获取该预设模型输出的对焦参数。之后，电子设备可以根据该预设模型输出的对焦参数进行对焦。其中，该预设模型经过预先学习训练并已学习到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系。因此，本申请实施例中，电子设备可以根据预设传感器的输出数据来预测能够清晰对焦的对焦参数，并根据该对焦参数来进行对焦。因此，本申请实施例可以根据预设传感器的输出数据快速得到对焦参数，即本申请实施例可以提高电子设备进行对焦的速度。

并且，由于本申请实施例可以根据预设传感器的输出数据快速预测得到用于对焦的对焦参数。因此，本申请实施例有利于实现实时对焦，提高图像拍摄的效率。比如，在录制视频时，由于可以实现快速对焦，因此本申请实施例可以提高视频录制的效率和录制得到的图像的质量。

请参阅图2，图2为本申请实施例提供的设备对焦方法的另一流程示意图。该设备对焦方法可以应用于电子设备，该电子设备可以配置有多媒体处理芯片和应用处理芯片，该多媒体处理芯片可以包括神经网络处理器(Neural-network Processing Unit，NPU)，该应用处理芯片可以包括中央处理器CPU。

本申请实施例提供的设备对焦方法的流程可以包括：

111、电子设备获取加速度传感器的输出数据。

比如，电子设备开启摄像模组准备拍摄图像，在清晰对焦前，电子设备可以先获取加速度传感器(G-sensor)当前的输出数据。

在本申请实施例中，电子设备可以通过应用处理芯片的中央处理器CPU来获取加速度传感器的输出数据。

112、电子设备获取图像传感器输出的第一图像数据，该第一图像数据是清晰对焦之前采集的非清晰对焦的图像数据。

113、电子设备获取与第一图像数据对应的第一相位检测数据。

比如，在清晰对焦前，电子设备还可以获取此时图像传感器输出的图像数据，即第一图像数据。可以理解的是，第一图像数据即是清晰对焦之前采集的未清晰对焦的图像数据。

在一些所述方式中，第一图像数据可以是RAW格式的图像数据。

并且，电子设备还可以获取与该第一图像数据对应的相位检测(PhaseDetection)数据，即第一相位检测数据。

一般的，在电子设备拍摄清晰对焦的图像之前，电子设备会先采集一帧图像，例如为图像A，再根据该采集到的图像A计算对焦参数。在本申请实施例中，112流程中的第一图像数据可以为电子设备采集到的该图像A对应的图像数据。

在有能力使用相位检测对焦的方式进行对焦的电子设备上，在该电子设备的感光元件上预留有一些遮蔽像素点，这些遮蔽像素点专门用来进行相位检测，通过像素之间的距离及其变化等来决定对焦的偏移值从而实现对焦。本申请实施例提供的电子设备也可以具有进行相位检测对焦的能力。因此，113流程中的第一相位检测数据可以是电子设备采集到的图像A对应的第一图像数据所对应的相位检测数据。

并且，111流程中的电子设备获取的加速度传感器的输出数据可以是电子设备采集图像A时加速度传感器的输出数据。

114、电子设备将加速度传感器的输出数据、第一图像数据以及第一相位检测数据输入至预设模型，并获取该预设模型输出的对焦参数，其中，该预设模型经过预先学习训练得到加速度传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系。

比如，在获取到清晰对焦前的加速度传感器的输出数据、第一图像数据以及第一相位检测数据后，电子设备可以将这三个数据输入至预设模型中，并获取该预设模型输出的对焦参数。其中，该预设模型可以是利用机器学习的方式经过预先学习训练并已学习到加速度传感器的输出数据、图像数据、相位检测数据这三者与清晰对焦的对焦参数之间的对应关系的神经网络模型。即，将加速度传感器的输出数据、第一图像数据、第一相位检测数据输入到预设模型中，该预设模型通过计算可以输出一个和该加速度传感器的输出数据、第一图像数据、第一相位检测数据对应的、可以用于对焦的对焦参数。

在一种实施方式中，本申请实施例可以不对预设模型具体使用何种神经网络模型进行限定，只要是能够用于学习训练预设传感器的输出数据和清晰对焦的对焦参数之间的对应关系的神经网络模型即可。

例如，电子设备可以获取训练样本，每一训练样本包括电子设备清晰对焦之前采集到的加速度传感器的输出数据、在清晰对焦之前采集到的未清晰对焦的图像数据、该图像数据对应的相位检测数据与清晰对焦时使用的对焦参数这四个信息。之后，电子设备可以获取一神经网络模型，并基于训练样本进行学习训练，从而学习到加速度传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系。之后，利用预设模型，电子设备就可以根据加速度传感器的输出数据、第一图像数据、与第一图像数据对应的第一相位检测数据来预测得到能够清晰对焦的对焦参数。

在本申请实施例中，电子设备可以通过其配置的多媒体处理芯片所包括的神经网络处理器NPU来运行上述预设模型。

115、根据预设模型输出的对焦参数，控制电子设备进行对焦。

比如，在获取到预设模型输出的对焦参数后，电子设备可以根据该预设模型输出的对焦参数进行对焦。

在一种实施方式中，本申请实施例中的对焦参数可以是摄像模组中的镜头进行对焦时所在的位置和/或用于驱动镜头进行移动的马达如音圈马达(Voice Coil Motor，VCM)在进行对焦时的电流大小等。

例如，114流程中预设模型在接收到输入并通过计算后输出的对焦参数可以是摄像模组中的镜头进行对焦时所在的位置和/或用于驱动镜头进行移动的马达如音圈马达(Voice Coil Motor，VCM)在进行对焦时的电流大小等。

而预设模型进行学习训练时所使用的训练样本中的清晰对焦的对焦参数可以是摄像模组中的镜头进行清晰对焦时所在的位置和/或用于驱动镜头进行移动的马达如音圈马达(Voice Coil Motor，VCM)在进行清晰对焦时的电流大小等。

需要说明的是，电子设备的摄像模组广泛的采用音圈马达来实现自动对焦功能，通过音圈马达可以调节摄像模组中的镜头的位置，从而呈现清晰的图像。音圈马达基于安培定理工作，即当音圈马达的线圈导电，其中的电流产生的作用力推动固定在载体上的镜头移动，从而改变对焦距离。可见，音圈马达对于对焦距离的控制实际上是通过对线圈中电流的控制来实现的。

比如，电子设备可以获取训练样本，每一训练样本包括电子设备清晰对焦之前采集到的加速度传感器的输出数据、在清晰对焦之前采集到的未清晰对焦的图像数据、该图像数据对应的相位检测数据与清晰对焦时镜头所在的位置这四个信息。之后，电子设备可以获取一神经网络模型，并基于训练样本进行学习训练，从而学习到加速度传感器的输出数据、图像数据、相位检测数据与清晰对焦时镜头所在的位置之间的对应关系。之后，利用预设模型，电子设备就可以根据加速度传感器的输出数据、第一图像数据、与第一图像数据对应的第一相位检测数据来预测得到清晰对焦时的镜头所在的位置。

或者，电子设备可以获取训练样本，每一训练样本包括电子设备清晰对焦之前采集到的加速度传感器的输出数据、在清晰对焦之前采集到的未清晰对焦的图像数据、该图像数据对应的相位检测数据与清晰对焦时音圈马达中的电流大小这四个信息。之后，电子设备可以获取一神经网络模型，并基于训练样本进行学习训练，从而学习到加速度传感器的输出数据、图像数据、相位检测数据与清晰对焦时音圈马达中的电流大小之间的对应关系。之后，利用预设模型，电子设备就可以根据加速度传感器的输出数据、第一图像数据、与第一图像数据对应的第一相位检测数据来预测得到清晰对焦时的音圈马达中的电流大小。

在另一种实施方式中，每当利用本申请实施例提供的对焦方法进行对焦并拍摄到清晰对焦的图像时，电子设备可以获取清晰对焦之前采集到的图像数据、该图像数据对应的相位检测数据、在采集该图像数据时预设传感器的输出数据，以及清晰对焦时的对焦参数。然后，电子设备可以根据这些信息生成可用于学习训练的样本，并利用这些样本对预设模型进行再次学习训练，从而不断优化预设模型，提高预设模型预测的准确度。

在另一种实施方式中，在流程115之后，本申请还可以包括如下流程：

电子设备获取根据预设模型输出的对焦参数进行对焦所采集到的第二图像数据，并对该第二图像数据进行图像处理。

比如，电子设备根据预设模型输出的对焦参数进行对焦得到第二图像数据后，该电子设备可以对该第二图像数据所对应的图像进行诸如降噪、锐化等处理，并将处理后的图像作为照片或视频帧保存。

本申请实施例中，电子设备可以根据加速度传感器的输出数据、在进行清晰对焦前采集的图像数据及其对应的相位检测数据来预测能够清晰对焦的对焦参数，并根据该对焦参数来进行对焦。因此，本申请实施例可以根据加速度传感器的输出数据、在进行清晰对焦前采集的图像数据及其对应的相位检测数据快速得到对焦参数，即本申请实施例可以提高电子设备进行对焦的速度。

并且，由于本申请实施例可以实现快速对焦，因此本申请实施例可以将更多的运算资源用于后续的图像处理等方面，从而提高系统的整体性能。

请参阅图3至图4，本申请实施例还提供一种多媒体处理芯片及电子设备。其中，多媒体处理芯片可以集成于电路板诸如主板中，以应用到电子设备中实现对图像的处理。

请参阅图3，图3为本申请实施例提供的多媒体处理芯片的第一种结构示意图。多媒体处理芯片诸如多媒体处理芯片200可以包括图像处理器，图像处理器可以对多媒体处理芯片200所获取到的图像数据如RAW数据进行处理，以增强图像数据的质量。

图像处理器可以包括图像信号处理器(Image Signal Processing，ISP)210、神经网络处理器(Neural-network Processing Unit，NPU)220和数字信号处理器(DigitalSignal Processing，DSP)230。其中，图像信号处理器210用于对多媒体处理芯片200所获取到的图像数据如RAW数据进行坏点去除、stats统计、线性化等处理。其中，神经网络处理器220用于对图像信号处理器210所处理过的图像数据进行增强处理，其可以运行神经网络算法，以在提高处理图像数据效率的情况下提升图像质量。其中，数字信号处理器230主要用于协助图像信号处理器210和神经网络处理器220。然而，数字信号处理器230也可以对计算量较小的图像数据进行处理。

需要说明的是，图像处理器所包括的处理器并不限于此，诸如图像处理器仅包括图像信号处理器210和神经网络处理器220。

多媒体处理芯片200还可以包括存储器。存储器可以存储多媒体处理芯片200的各种数据，诸如图像数据、系统数据等。其中存储器可以包括第一存储器260和第二存储器270。第一存储器260可以存储神经网络处理器220所处理的结果，本申请实施例可以将神经网络处理器220所处理的结果简称为处理结果。

第二存储器270可以存储多媒体处理芯片200的运行系统，第二存储器270可以存储多媒体处理芯片200所获取到的原始图像数据如原始RAW数据，第二存储器270也可以存储图像信号处理器210所处理的结果，本申请实施例可以将图像信号处理器210所处理的结果简称为第一中间图像数据。第二存储器270还可以存储数字信号处理器230所处理的结果，本申请实施例可以将数字信号处理器230所处理的结果简称为第二中间图像数据。

在一些实施例中，第一存储器260存取图像数据的速率大于第二存储器270存取图像数据的速率。例如，第一存储器260存储图像数据的速率大于第二存储器270存储图像数据的速率，第一存储器260取出图像数据的速率大于第二存储器270取出图像数据的速率。通常来讲，静态存储器存取数据的速率大于动态存储器存取数据的速率，本申请实施例第一存储器260可以为静态存储器，第二存储器270可以为动态存储器，诸如双倍速率同步动态随机存储器(Double Data Rate SDRAM，DDR)。

多媒体处理芯片200还可以包括主控处理器240、系统总线250、第一接口201、第二接口202和互连总线接口203。系统总线250与多媒体处理芯片200的各个部件电连接，诸如系统总线250与图像信号处理器210、神经网络处理器220、数字信号处理器230、主控处理器240、第一存储器260、第二存储器270以及互连总线接口203电连接。可以理解的是，本申请实施例所限定的电连接可以理解为两个部件之间的连接关系可以进行数据，诸如两个部件采用导线连接。再比如两个部件采用直接连接，诸如采用焊接的方式将两个部件的焊接点焊接在一起。

主控处理器(Central Processing Unit,CPU)240可以控制多媒体处理芯片200系统的运作，诸如中断响应、外设参数配置等。

其中，第一接口201和第二接口202均可以为移动产业处理器接口(MobileIndustry Processor Interface，MIPI)。第一接口201可以接收图像数据如RAW图像数据，诸如第一接口201可以接收来自图像传感器所获取到的RAW数据。第一接口201所接收到的图像数据诸如RAW数据可以为原始图像数据，即第一接口201所接收到的图像数据为未经过处理加工的图像数据，具体可以将原始图像数据理解为未经过图像处理器处理的图像数据。第一接口201接收到图像数据诸如原始图像数据后可以将该图像数据传输到图像信号处理器210。

第二接口202可以接收图像信号处理器210对图像数据进行处理的结果，第二接口202也可以接收神经网络处理器220对图像数据进行处理的结果，第二接口202还可以接收数字信号处理器230对图像数据进行处理的结果。比如多媒体处理芯片200在对图像数据进行预览处理时，可以将预览数据传输到第二接口202。第二接口202可以与应用处理芯片连接，以将第二接口202所接收到的图像数据诸如预览数据等传输到应用处理芯片。举例来说，当需要进行图像预览时，可以将进行图像预览所处理的数据通过第二接口202传输到应用处理芯片。

互连总线接口(Peripheral Component Interconnect Express，PCIE)203，也可以称为高速外围组件互连接口，外部设备互连总线接口，其是一种高速串行计算机扩展总线标准的接口。互连总线接口203可以接收图像信号处理器210对图像数据进行处理的结果，互连总线接口203也可以接收神经网络处理器220对图像数据进行处理的结果，互连总线接口203还可以接收数字信号处理器230对图像数据进行处理的结果。比如多媒体处理芯片200在对图像数据进行拍照处理时，可以将拍照数据传输到互连总线接口203。互连总线接口203可以与应用处理芯片连接，以将互连总线接口203所接收到的图像数据诸如拍照数据等传输到应用处理芯片。举例来说，当需要进行拍摄图像或拍摄视频时，可以将进行拍照处理的数据通过互连总线接口203传输到应用处理芯片。

互连总线接口203可以实时或离线传输图像数据，也可以传输配置参数等数据，互连总线接口203传输数据的效率高。基于此，本申请实施例可以将第二接口202和互连总线接口203分配不同的数据进行传输。诸如可以将拍摄照片或拍摄图像的数据处理通过互连总线接口203传输到应用处理芯片，将预览图像的数据处理通过第二接口202传输到应用处理芯片。

在一些实施例中，神经网络处理器220内部集成有直接存储访问控制器(DirectMemory Access,DMA)222，直接存储访问控制器222可将数据从一个地址空间搬移到另一个地址空间。诸如直接存储访问控制器222可以将存储于第一存储器260内的处理结果搬移到互连总线接口203的数据发送缓存区(Transmit FIFO，Tx FIFO)。互连总线接口203可以与应用处理芯片的互连总线接口连接，以将互连总线接口203的数据发送缓存区所存储的数据传输到应用处理芯片。

直接存储访问控制器222设置于神经网络处理器220内，可以将直接存储访问控制器222的源地址配置为第一存储器260的地址，将目的地址配置为互连总线接口203的数据发送缓存区的地址。

神经网络处理器220可以通过系统总线250访问互连总线接口203的控制寄存器，使得互连总线接口203工作在直接存储访问控制器模式。神经网络处理器220可以将直接存储访问控制器222的触发信号配置为第一存储器260所存储的处理结果不为空，即只要第一存储器260中存储有神经网络处理器220的处理结果，直接存储访问控制器222都会继续工作。

神经网络处理器220对图像信号处理的处理结果存储到第一存储器260中，一旦第一存储器260存储有神经网络处理器220的处理结果，直接存储访问控制器222就被触发，开始将第一存储器260所存储的处理结果搬移到互连总线接口203的数据发送缓存区。因此，本申请实施例在传输神经网络处理器220的处理结果时不会额外占用第二存储器270的带宽，而且神经网络处理器222访问第一存储器260的速率高于访问第二存储器270的速率，可以提高数据搬运的速度。

直接存储访问控制器222在搬移数据过程中，不需要神经网络处理器220参与。可以实现神经网络处理器220处理数据和直接存储访问控制器222搬运数据同时进行，提高了工作效率。

本申请实施例多媒体处理芯片可以应用到电子设备中。

请参阅图4，图4为本申请实施例提供的电子设备的第一种结构示意图。电子设备20A可以是便携式设备，诸如蜂窝电话、媒体播放器、平板电脑、或者其他便携式计算设备。电子设备20A可以包括多媒体处理芯片200、应用处理芯片400和图像传感器600，其中，多媒体处理芯片200可以参阅图3的相关内容。

应用处理芯片400可以包括应用处理器(Application Processor，AP)410、图像信号处理器(Image Signal Processing，ISP)420、存储器430、系统总线440、第三接口450和互连总线接口460。

第三接口450可以为移动产业处理器接口(Mobile Industry ProcessorInterface，MIPI)。第三接口450可以与第二接口202采用信号线连接。需要说明的是，本申请实施例所限定的信号线可以理解为导线。第二接口202和第三接口450的电连接可以实现多媒体处理芯片200所处理的结果传输到应用处理芯片400，以供应用处理芯片400的图像信号处理器420对多媒体处理芯片200所处理的结果进行进一步处理。

互连总线接口(Peripheral Component Interconnect Express，PCIE)460也可以称为高速外围组件互连接口，外部设备互连总线接口，其是一种高速串行计算机扩展总线标准的接口。互连总线接口460可以与互连总线接口203采用信号线电连接。互连总线接口460与互连总线接口203的电连接可以实现多媒体处理芯片200所处理的结果传输到应用处理芯片400，以供应用处理芯片400的图像信号处理器420对多媒体处理芯片200所处理的结果进行进一步处理。

需要说明的是，多媒体处理器200和应用处理芯片400还可以通过其他导线和接口实现电连接，在此不再一一举例说明。

存储器430可以存储应用处理芯片400的各种数据，诸如存储多媒体处理芯片200通过互连总线接口203和第二接口202传输到应用处理芯片400的图像数据。存储器430还可以存储应用处理芯片400的运行系统，存储器430还可以存储图像信号处理器420所处理的中间数据或结果。存储器430还可以存储的计算机程序诸如应用处理器410中执行的指令。当然，存储器430还可以存储其他数据，在此不再一一举例说明。

图像传感器600可以获取图像数据诸如原始图像数据，该原始图像数据可以为RAW图像数据。其中，多媒体处理芯片200和应用处理芯片400可以集成在一电路板上。需要说明的是，图像传感器600可以与多媒体处理芯片200和应用处理芯片400一起集成在一电路板上。当然，图像传感器600也可以与多媒体处理芯片200和应用处理芯片400所集成的电路板分离设置，而采用导线连接。

应用处理器410是电子设备20A的控制中心，利用各种接口和线路连接整个电子设备20A的各个部分，通过运行或调用存储在存储器430内的计算机程序，以及调用存储在存储器430内的数据，执行电子设备20A的各种功能和处理数据，从而对电子设备20A进行整体监控。诸如应用处理器410控制电子设备20A的图像传感器400获取原始图像数据，并控制多媒体处理芯片200对图像传感器400所获取到的原始图像数据进行图像质量增强处理，以得到预处理结果。然后，应用处理器410控制应用处理芯片400的图像信号处理器420对该预处理结果进行进一步处理，再将图像信号处理器420所处理的结果通过电子设备20A的显示屏显示出来。

需要说明的是，本申请实施例多媒体处理芯片200对神经网络处理器220处理图像数据的结果的传输方式并不限于此。

在本申请实施例中，在清晰对焦前，电子设备可以通过图像传感器600采集一帧RAW格式的图像，并获取该RAW格式的图像所对应的相位检测数据。之后，电子设备可以将该RAW格式的图像的图像数据以及对应的相位检测数据经第一接口201、图像信号处理器210、系统总线250存储到第二存储器270中。

并且，应用处理器410可以获取此时加速度传感器的输出数据，并将获取到的该加速度传感器的输出数据经系统总线440、互连总线接口460、互连总线接口203、系统总线250存储到第二存储器270中。其中，在一种实施方式中，应用处理器410可以是一个中央处理器CPU。

神经网络处理器220可以从第二存储器270处获取上述图像数据及其对应的相位检测数据以及加速度传感器的输出数据。之后，神经网络处理器220可以将获取到的上述图像数据及其对应的相位检测数据以及加速度传感器的输出数据输入至预设模型中，并获取该预设模型输出的对焦参数。其中，预设模型可以为预先经过学习训练并已学习得到加速度传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系的神经网络模型。

在神经网络处理器220输出其预测的能够用于清晰对焦的对焦参数后，神经网络处理器220可以将该对焦参数存储至第一存储器。在一种实施方式中，对焦参数可以为用于驱动摄像模组中的镜头进行移动的音圈马达的电流值。

之后，主控处理器240可以从第一存储器260中获取神经网络处理器220输出的对焦参数，并根据该对焦参数生成相应的指令，电子设备则可以根据该指令向摄像模组中的音圈马达施加上述对焦参数中包含的电流值，以使该音圈马达驱动镜头至相应位置，从而完成清晰对焦，上述流程可以如图5所示。

请参阅图6，图6为本申请实施例提供的设备对焦装置的结构示意图。设备对焦装置500可以包括：获取模块501，处理模块502，控制模块503。

获取模块501，用于获取预设传感器的输出数据；

处理模块502，用于将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

控制模块503，用于根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

在一种实施方式中，所述预设传感器包括加速度传感器。

在一种实施方式中，所述获取模块501还可以用于：获取所述电子设备的图像传感器输出的第一图像数据，所述第一图像数据是清晰对焦之前采集的非清晰对焦的图像数据。

那么，所述处理模块502可以用于：将所述预设传感器的输出数据以及所述第一图像数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据与清晰对焦的对焦参数之间的对应关系。

在一种实施方式中，所述获取模块501还可以用于：获取与所述第一图像数据对应的第一相位检测数据。

那么，所述处理模块502可以用于：将所述预设传感器的输出数据、所述第一图像数据以及所述第一相位检测数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系。

在一种实施方式中，所述电子设备配置有多媒体处理芯片，所述多媒体处理芯片包括神经网络处理器，所述电子设备通过所述神经网络处理器运行所述预设模型。

在一种实施方式中，所述电子设备还配置有应用处理芯片，所述应用处理芯片包括中央处理器。

所述获取模块501可以用于：通过所述中央处理器获取所述预设传感器的输出数据。

在一种实施方式中，所述对焦参数为所述电子设备的摄像模组中的镜头进行对焦时所在的位置和/或用于驱动所述镜头进行移动的马达在进行对焦时的电流大小。

在一种实施方式中，所述控制模块503还可以用于：获取根据所述预设模型输出的对焦参数进行对焦所采集到的第二图像数据，并对所述第二图像数据进行图像处理。

本申请实施例提供一种计算机可读的存储介质，其上存储有计算机程序，当所述计算机程序在计算机上执行时，使得所述计算机执行如本实施例提供的方法中的流程。

本申请实施例还提供一种电子设备，包括存储器，处理器，所述处理器通过调用所述存储器中存储的计算机程序，用于执行本实施例提供的设备对焦方法中的流程。

例如，上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图7，图7为本申请实施例提供的电子设备的结构示意图。

该电子设备600可以包括传感器601、存储器602、处理器603、摄像模组604等部件。本领域技术人员可以理解，图7中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

传感器601可以包括加速度传感器、陀螺仪传感器(例如三轴陀螺仪传感器)等传感器。

存储器602可用于存储应用程序和数据。存储器602存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器603通过运行存储在存储器602的应用程序，从而执行各种功能应用以及数据处理。

处理器603是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的应用程序，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

摄像模组604可以用于采集图像并对采集到的图像进行处理。摄像模组604中可以包括诸如图像传感器、镜头、用于驱动该镜头移动的马达如音圈马达等。

在本实施例中，电子设备中的处理器603会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器602中，并由处理器603来运行存储在存储器602中的应用程序，从而执行：

获取预设传感器的输出数据；

将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

请参阅图8，电子设备600可以包括传感器601、存储器602、处理器603、摄像模组604、触摸显示屏605、电池606等部件。

传感器601可以包括加速度传感器、陀螺仪传感器(例如三轴陀螺仪传感器)等传感器。

存储器602可用于存储应用程序和数据。存储器602存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器603通过运行存储在存储器602的应用程序，从而执行各种功能应用以及数据处理。

处理器603是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器602内的应用程序，以及调用存储在存储器602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

摄像模组604可以用于采集图像并对采集到的图像进行处理。摄像模组604中可以包括诸如图像传感器、镜头、用于驱动该镜头移动的马达如音圈马达等。

触摸显示屏605一方面可用于显示诸如图像、文字等信息，另一方面可以用于接收用户的触摸操作等。

电池606可以用于为电子设备的各个部件提供电力支持，从而保证电子设备能够正常运行。

此外，电子设备还可以包括诸如扬声器、麦克风等部件，本申请实施例对此不做具体限定。

在本实施例中，电子设备中的处理器603会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器602中，并由处理器603来运行存储在存储器602中的应用程序，从而执行：

获取预设传感器的输出数据；

将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

在一种实施方式中，所述预设传感器包括加速度传感器。

在一种实施方式中，所述处理器603还可以执行：获取所述电子设备的图像传感器输出的第一图像数据，所述第一图像数据是清晰对焦之前采集的非清晰对焦的图像数据；将所述预设传感器的输出数据以及所述第一图像数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据与清晰对焦的对焦参数之间的对应关系。

在一种实施方式中，所述处理器603还可以执行：获取与所述第一图像数据对应的第一相位检测数据；将所述预设传感器的输出数据、所述第一图像数据以及所述第一相位检测数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系。

在一种实施方式中，所述电子设备配置有多媒体处理芯片，所述多媒体处理芯片包括神经网络处理器，所述电子设备通过所述神经网络处理器运行所述预设模型。

在一种实施方式中，所述电子设备还配置有应用处理芯片，所述应用处理芯片阿博客中央处理器。

那么，所述处理器603执行所述获取预设传感器的输出数据时，可以执行：通过所述中央处理器获取所述预设传感器的输出数据。

在一种实施方式中，所述对焦参数为所述电子设备的摄像模组中的镜头进行对焦时所在的位置和/或用于驱动所述镜头进行移动的马达在进行对焦时的电流大小。

在一种实施方式中，所述处理器603还可以执行：获取根据所述预设模型输出的对焦参数进行对焦所采集到的第二图像数据，并对所述第二图像数据进行图像处理。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对设备对焦方法的详细描述，此处不再赘述。

本申请实施例提供的所述设备对焦装置与上文实施例中的设备对焦方法属于同一构思，在所述设备对焦装置上可以运行所述设备对焦方法实施例中提供的任一方法，其具体实现过程详见所述设备对焦方法实施例，此处不再赘述。

需要说明的是，对本申请实施例所述设备对焦方法而言，本领域普通技术人员可以理解实现本申请实施例所述设备对焦方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，所述计算机程序可存储于一计算机可读取存储介质中，如存储在存储器中，并被至少一个处理器执行，在执行过程中可包括如所述设备对焦方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)等。

对本申请实施例的所述设备对焦装置而言，其各功能模块可以集成在一个处理芯片中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，所述存储介质譬如为只读存储器，磁盘或光盘等。

以上对本申请实施例所提供的一种设备对焦方法、装置、存储介质以及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种设备对焦方法，应用于电子设备，其特征在于，所述方法包括：

获取预设传感器的输出数据；

将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

2.根据权利要求1所述的设备对焦方法，其特征在于，所述预设传感器包括加速度传感器。

3.根据权利要求1所述的设备对焦方法，其特征在于，所述方法还包括：

获取所述电子设备的图像传感器输出的第一图像数据，所述第一图像数据是清晰对焦之前采集的非清晰对焦的图像数据；

将所述预设传感器的输出数据以及所述第一图像数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据与清晰对焦的对焦参数之间的对应关系。

4.根据权利要求3所述的设备对焦方法，其特征在于，所述方法还包括：

获取与所述第一图像数据对应的第一相位检测数据；

将所述预设传感器的输出数据、所述第一图像数据以及所述第一相位检测数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据、图像数据、相位检测数据与清晰对焦的对焦参数之间的对应关系。

5.根据权利要求1所述的设备对焦方法，其特征在于，所述电子设备配置有多媒体处理芯片，所述多媒体处理芯片包括神经网络处理器，所述电子设备通过所述神经网络处理器运行所述预设模型。

6.根据权利要求5所述的设备对焦方法，其特征在于，所述电子设备还配置有应用处理芯片，所述应用处理芯片包括中央处理器；

所述获取预设传感器的输出数据，包括：通过所述应用处理芯片的中央处理器获取所述预设传感器的输出数据。

7.根据权利要求1所述的设备对焦方法，其特征在于，所述对焦参数为所述电子设备的摄像模组中的镜头进行对焦时所在的位置和/或用于驱动所述镜头进行移动的马达在进行对焦时的电流大小。

8.一种设备对焦装置，应用于电子设备，其特征在于，所述装置包括：

获取模块，用于获取预设传感器的输出数据；

处理模块，用于将所述预设传感器的输出数据输入至预设模型，并获取所述预设模型输出的对焦参数，其中，所述预设模型经过预先学习训练得到预设传感器的输出数据与清晰对焦的对焦参数之间的对应关系；

控制模块，用于根据所述预设模型输出的对焦参数，控制所述电子设备进行对焦。

9.一种计算机可读的存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上执行时，使得所述计算机执行如权利要求1至7中任一项所述的方法。

10.一种电子设备，包括存储器，处理器，其特征在于，所述处理器通过调用所述存储器中存储的计算机程序，以执行如权利要求1至7中任一项所述的方法。

Images