CN115118875A - 电子设备、控制方法和存储介质 - Google Patents

Abstract

本公开提供电子设备、控制方法和存储介质。该电子设备包括：获取单元，其被构造为获取关于抖动的第一信息；计算单元，其被构造为将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及第一控制单元，其被构造为使用所述第二信息控制图像稳定。所述第一控制单元通过使用在给出拍摄指令之前的基于所述第一信息而从所述计算单元输出的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

Description

电子设备、控制方法和存储介质

技术领域

实施例的方面涉及在具有图像稳定功能的成像系统中使用的电子设备、以及用于控制该电子设备的控制方法。

背景技术

存在如下情况，其中诸如相机或智能电话的具有摄像功能的电子设备包括用于减少由于相机抖动引起的图像模糊的图像稳定功能。作为关于图像稳定功能的控制，已知如下技术：基于角速度信号或加速度信号确定摄像状态，并根据确定结果计算用于进行图像稳定的图像稳定信号。

日本特许第5743838号公报讨论了一种图像稳定设备，其基于从角速度信号超过阈值起经过的时间来区分静止摄像状态和步行摄像状态。

然而，在日本特许第5743838号公报中讨论的图像稳定设备中，在摄像状态的确定精度方面存在进一步提高的空间。

发明内容

根据实施例的一方面，提供了一种电子设备，其包括：获取单元，其被构造为获取关于抖动的第一信息；计算单元，其被构造为将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及第一控制单元，其被构造为使用所述第二信息控制图像稳定。所述第一控制单元通过使用在给出拍摄指令之前的基于所述第一信息而从所述计算单元输出的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

根据实施例的另一方面，提供了一种在系统中使用的电子设备，所述系统包括第一设备和具有控制单元的第二设备，所述控制单元被构造为与所述第一设备通信，并且被构造为使用在给出拍摄指令之前的关于抖动类型的信息，来控制在给出所述拍摄指令之后的图像稳定。所述电子设备包括：获取单元，其被构造为获取关于在所述第一设备和所述第二设备中的至少一个中出现的抖动的第一信息；计算单元，其被构造为将所述第一信息输入到机器学习模型并输出关于抖动类型的信息；以及通信单元，其被构造为向所述第二设备发送在给出所述拍摄指令之前的使用所述第一信息而从所述计算单元输出的关于抖动类型的信息。

根据实施例的又一方面，提供了一种方法，其包括如下步骤：获取关于抖动的第一信息；将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及使用所述第二信息控制图像稳定。在控制步骤中，通过使用在给出拍摄指令之前的基于所述第一信息输出的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得清楚。

附图说明

图1是示出成像系统的框图。

图2是示出在成像装置中所包括的微处理单元(MPU)的功能的框图。

图3是示出根据第一示例性实施例的摄像操作的流程图。

图4是示出机器学习模型的概念图。

图5是示出抖动类型的确定精度的图。

图6是示出用于确定抖动类型的确定处理的流程图。

图7是示出图像稳定处理的流程图。

图8是示出根据第二示例性实施例的摄像操作的流程图。

图9是示出根据第三示例性实施例的摄像操作的流程图。

图10是示出根据第四示例性实施例的摄像操作的流程图。

图11是示出在镜头装置中所包括的MPU的功能的框图。

图12是示出根据第五示例性实施例的摄像操作的流程图。

图13A和图13B是示出智能电话的图。

图14是示出在智能电话中所包括的摄像单元和MPU的框图。

图15是示出在智能电话中所包括的MPU的功能的框图。

图16是示出当用于智能电话的摄像应用启动时的显示单元的图。

图17是示出根据第六示例性实施例的摄像操作的流程图。

具体实施方式

下面将参照附图详细描述本公开的示例性实施例。

图1是示出包括成像装置200和能够与成像装置200通信的镜头装置100的成像系统的框图。在第一示例性实施例中，成像装置200具有根据本公开的电子设备的功能。

成像装置200包括图像传感器201、信号处理电路202、记录处理单元203、显示单元204、操作单元205、相机微处理单元(MPU)206和相机通信单元207。成像装置200还包括相机角速度传感器208、相机加速度传感器209、图像传感器驱动电机210、相机图像稳定控制单元211和图像传感器编码器212。

图像传感器201将由镜头装置100中的成像光学系统形成的被摄体图像(光学图像)光电转换为电信号(模拟信号)并输出模拟信号。图像传感器201例如由互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器组成。从图像传感器201输出的模拟信号通过模数(A/D)转换电路(未示出)转换为数字信号。

信号处理电路202对来自A/D转换电路(未示出)的数字信号进行各种类型的图像处理，从而生成视频信号。信号处理电路202还生成指示成像光学系统的聚焦状态的聚焦信息和指示成像光学系统的曝光状态的亮度信息。信号处理电路202还将视频信号输出到显示单元204，并且显示单元204将视频信号显示为用于确认构图或聚焦状态的实时取景图像。信号处理电路202还将视频信号输出到记录处理单元203。记录处理单元203将视频信号作为图像数据存储在外部存储器中。

操作单元205例如由用于设置各种摄像模式的模式拨盘和用于进行摄像准备操作并给出开始摄像的指令的快门释放按钮组成。如果通过摄影者半按下快门释放按钮而生成的第一快门释放信号(Sw1)被输入到相机MPU 206，则镜头装置100进行诸如自动聚焦的摄像准备操作。如果摄影者全按下快门释放按钮，则生成第二快门释放信号(Sw2)。通过将第二快门释放信号Sw2输入到相机MPU 206来进行静止图像(图像信号)的生成和记录。即，快门释放按钮的全按下对应于摄像指令的给出。

相机MPU 206控制成像装置200。相机MPU 206还经由相机通信单元207与镜头装置100通信并且与镜头装置100交换数据。

尽管在本示例性实施例中相机MPU 206是MPU，但是可以使用电路或诸如中央处理单元(CPU)的各种处理器。

相机角速度传感器208输出与成像装置200的角速度有关的角速度信号。相机加速度传感器209输出与成像装置200的加速度有关的加速度信号。从相机角速度传感器208输出的角速度信号和从相机加速度传感器209输出的加速度信号作为相机抖动检测信号输入到相机MPU 206。

相机MPU 206使用相机抖动检测信号来计算用于驱动图像传感器201的驱动目标信号。基于驱动目标信号与从图像传感器编码器212输出的图像传感器201的位置信号之间的差的图像稳定信号被输出到相机图像稳定控制单元211。相机图像稳定控制单元211基于图像稳定信号驱动图像传感器驱动电机210，从而使图像传感器201在与镜头装置100中的成像光学系统的光轴正交的方向上移动。图像传感器201的这种移动减少了由成像系统的抖动引起的图像模糊。

成像装置200可以仅包括相机角速度传感器208和相机加速度传感器209中的任一个。然而，在成像装置200包括相机角速度传感器208和相机加速度传感器209两者的情况下，与成像装置200仅包括任一个的情况相比，成像装置200可以获得更多关于相机抖动检测信号的信息。结果，可以以高精度进行图像稳定并确定抖动类型。因此，在一个实施例中，成像装置200应包括相机角速度传感器208和相机加速度传感器209两者。

镜头装置100包括成像光学系统、驱动成像光学系统的驱动电机、以及控制驱动电机的控制电路。镜头装置100还包括镜头MPU 101、镜头通信单元102、镜头角速度传感器103、镜头加速度传感器104和图像稳定透镜编码器105。

成像光学系统包括图像稳定透镜106和聚焦透镜107。驱动成像光学系统的驱动电机包括图像稳定透镜驱动电机108和聚焦透镜驱动电机109。控制驱动电机的控制电路包括镜头图像稳定控制单元110和聚焦透镜控制单元111。

镜头MPU 101控制镜头装置100中的部件的操作。镜头MPU 101还经由镜头通信单元102与成像装置200进行通信，并与成像装置200交换数据。尽管在本示例性实施例中镜头MPU 101是MPU，但可以使用各种电路或诸如CPU的处理器。

镜头角速度传感器103输出与镜头装置100的角速度有关的角速度信号。镜头加速度传感器104输出与镜头装置100的加速度有关的加速度信号。从镜头角速度传感器103输出的角速度信号和从镜头加速度传感器104输出的加速度信号作为镜头抖动检测信号输入到镜头MPU 101。镜头MPU 101使用镜头抖动检测信号，计算用于驱动图像稳定透镜106的驱动目标信号。基于从图像稳定透镜编码器105输出的图像稳定透镜106的位置信号与驱动目标信号之间的差的图像稳定信号被输出到镜头图像稳定控制单元110。镜头图像稳定控制单元110基于图像稳定信号驱动图像稳定透镜驱动电机108，从而使作为成像光学系统的一部分的图像稳定透镜106在与成像光学系统的光轴正交的方向上移动。图像稳定透镜106的这种移动减少了由成像系统的抖动引起的图像模糊。

聚焦透镜控制单元111使用从镜头MPU 101接收到的控制信号和聚焦透镜驱动电机109，使聚焦透镜107在光轴方向上移动，从而调节焦点。聚焦透镜控制单元111包括：聚焦编码器和驱动聚焦透镜107的电路，该聚焦编码器根据聚焦透镜107的移动输出区域图案信号或脉冲信号。可以基于聚焦编码器的输出检测被摄体距离。

可以将从镜头角速度传感器103和镜头加速度传感器104中的至少一个输出的镜头抖动检测信号而不是相机抖动检测信号输入到相机MPU206。相机MPU 206经由相机通信单元207从镜头MPU 101获取镜头抖动检测信号。在这种情况下，在成像装置200中可以不配设相机角速度传感器208和相机加速度传感器209。

现在将参照图2描述相机MPU 206的功能。在本示例性实施例中，相机MPU 206的功能使用关于相机抖动检测信号的信息来确定抖动类型。

还使用机器学习模型来确定抖动类型，以提高抖动类型的确定精度。

相机MPU 206包括相机获取单元206a和相机计算单元206b。

相机获取单元206a获取关于抖动的第一信息。在本示例性实施例中，相机获取单元206a获取经预处理的相机抖动检测信号的特征量作为第一信息。

相机计算单元206b将相机获取单元206a获取的第一信息输入到机器学习模型，并且输出关于抖动类型的信息作为第二信息。

然而，一般而言，使用机器学习模型的处理需要高计算负荷。因此，在使用机器学习模型来确定抖动类型的情况下，相机计算单元206b确定抖动类型的确定处理可能需要比传统方法更长的时间。在这种情况下，在从当用户在静止图像的拍摄中通过操作单元205给出摄像指令时到当实际开始图像的拍摄时的时段期间，可能会出现延迟。这是因为相机图像稳定控制单元211在等待相机计算单元206b确定抖动类型的确定处理完成之后进行图像稳定。

因此，在本示例性实施例中，与在用户通过操作单元205给出摄像指令之前由相机计算单元206b确定的抖动类型有关的信息被用于在用户给出摄像指令之后进行的图像稳定。这消除了这样的需要：相机图像稳定控制单元211在摄像指令被给出之后等待相机计算单元206b确定抖动类型的确定处理完成。结果，即使在静止图像的拍摄中，也可以使用机器学习模型高精度地确定抖动类型，并且还可以减少拍摄静止图像时的延迟。

现在将参照图3所示的流程图来描述根据第一示例性实施例的摄像操作。如果成像装置200通电，则图3中的流程图开始。在本示例性实施例中，成像装置200进行图像稳定并确定抖动类型。因此，在镜头装置100中可以不配设图像稳定透镜编码器105、图像稳定透镜106、图像稳定透镜驱动电机108和镜头图像稳定控制单元110。

在步骤S101中，成像装置200首先与镜头装置100通信并区分镜头装置100的型号。此时，镜头装置100区分成像装置200的型号。

在步骤S102中，相机MPU 206经由相机通信单元207与镜头MPU101对状态进行通信。相机MPU 206还将相机的状态(例如，由用户设置的光圈值和快门速度)发送到镜头MPU101。相机MPU 206还从镜头MPU 101接收镜头的状态(例如，当前焦距、光圈的状态和聚焦透镜107的驱动状态)。

在步骤S103中，相机MPU 206确定是否从操作单元205向相机MPU206输入了第一快门释放信号Sw1。如果确定输入了第一快门释放信号Sw1(步骤S103中的“是”)，则处理进入步骤S104。如果确定未输入第一快门释放信号Sw1(步骤S103中的“否”)，则处理返回到步骤S102。

在步骤S104中，相机计算单元206b使用机器学习模型开始确定抖动类型。相机计算单元206b将关于确定的抖动类型的信息记录在相机MPU 206中。一直到步骤S109，相机计算单元206b都使用机器学习连续确定抖动类型。下面将描述步骤S104的细节。

在步骤S105中，相机MPU 206测量用于聚焦在被摄体上的距离并计算聚焦透镜107的驱动量。相机MPU 206将计算出的聚焦透镜107的驱动量发送到聚焦透镜控制单元111。

在步骤S106中，相机MPU 206再次测量距离。如果确定该距离在聚焦深度内(步骤S106中的“是”)，则处理进入步骤S107。如果该距离在聚焦深度之外(步骤S106中的“否”)，则处理返回到步骤S105。

在步骤S107中，相机MPU 206确定是否从操作单元205向相机MPU206输入了第二快门释放信号Sw2。如果确定输入了第二快门释放信号Sw2(步骤S107中的“是”)，则处理进入步骤S108。相反，如果确定未输入第二快门释放信号Sw2(步骤S107中的“否”)，则处理返回到步骤S105。

在步骤S108中，相机图像稳定控制单元211进行图像稳定。基于在第二快门释放信号Sw2被输入到相机MPU 206之前由相机计算单元206b做出的对抖动类型的确定结果来进行图像稳定。因此，可以缩短如下的时间：从当第二快门释放信号Sw2被输入到相机MPU 206时到当相机图像稳定控制单元211开始图像稳定时。在步骤S108中，包括在镜头装置100中的光圈(未示出)也被驱动，并且包括在成像装置200中的快门(未示出)也被驱动。下面将描述在步骤S108中进行的与基于对抖动类型的确定结果的图像稳定有关的处理的细节。

在步骤S109中，信号处理电路202从图像传感器201读取信号。读取的信号被转换为数字数据，并且数字数据由记录处理单元203保存在外部存储器(未示出)中。相机计算单元206b还停止用于确定抖动类型的确定处理。

现在将描述机器学习模型。图4是示出根据本示例性实施例的机器学习模型的输入与输出之间的关系的概念图。本示例性实施例中使用的机器学习模型是用于基于输入数据输出该输入数据所属类别的算法。

机器学习模型具有学习阶段和估计阶段。在学习阶段，更新机器学习模型中的参数，以提高对输入数据的类别的确定精度。“类别”与抖动类型相关联并且是预先定义的预定数量的类。通过将输入数据和指示输入数据的类别的正确答案标签组合而获得的数据称为“教师数据”。如下进行学习。将教师数据输入到机器学习模型，并且机器学习模型确定类别。然后，机器学习模型将获得的确定类别与正确答案标签所指示的类别进行比较，并更新机器学习模型中的参数以最小化类别之间的差异(损失)。在学习阶段，学习被进行预定次数。或者重复学习直到例如通过达到预定的确定精度而满足结束条件。在估计阶段使用如此获得的经训练的机器学习模型，相机计算单元206b可以基于输入数据以高精度确定抖动类型。

在本示例性实施例中，使用随机森林作为机器学习模型。随机森林是一种使用特征量作为输入数据的算法。因此，根据本示例性实施例的作为第一信息的输入数据是经预处理的相机抖动检测信号的特征量。作为机器学习模型的算法，可以使用逻辑回归、支持向量机、朴素贝叶斯、神经网络或状态空间模型。

作为第一信息的输入数据可以根据算法适当地改变。在这种情况下，作为第一信息的输入数据的可能示例包括仅经预处理的相机抖动检测信号、未经预处理的相机抖动检测信号以及未经预处理的相机抖动检测信号的特征量。另选地，可以使用关于从图像传感器201获得的运动向量的信息作为第一信息，来代替相机抖动检测信号。

例如，在不需要特征量的算法(诸如神经网络)被用作机器学习模型的情况下，相机抖动检测信号被用作第一信息而无需生成特征量。在这种情况下，相机抖动检测信号的预处理不是必需的。

现在将描述根据本示例性实施例的相机抖动检测信号的预处理和特征量。可以根据学习环境适当地改变预处理和特征量的内容。

在预处理中，对相机抖动检测信号进行标准化处理，对相机抖动检测信号进行单位转换，并去除相机抖动检测信号中的缺失值和异常值(outlier)。

标准化处理是如下处理：对相机抖动检测信号进行转换，使得数据的平均值为0，且数据的方差(variance)为1。单位转换是如下处理：将作为相机抖动检测信号的角速度信号与加速度信号的分辨率匹配。标准化处理和单位转换是通过匹配相机抖动检测信号的尺度(scale)来提高学习精度而进行的处理。

缺失值是由于相机角速度传感器208或相机加速度传感器209中的检测错误而出现的空数据。异常值是与相机抖动检测中的其他数据的值极不相同的数据。异常值和缺失值导致学习精度的下降。因此，相机MPU206从抖动检测信号中检测并排除异常值和缺失值，从而防止异常值和缺失值被输入到机器学习模型中。

特征量的示例包括相机抖动检测信号的平均值、最大值、最小值、根和(rootsum)、方差、标准偏差(standard deviation)、峰度(kurtosis)和偏度(skewness)。

根据本示例性实施例的作为第二信息的输出数据是任何抖动类型，诸如步行状态、三脚架状态、摇摄状态、保持状态和其他状态。要从机器学习模型输出的类别可以是步行状态、三脚架状态或摇摄状态，并且可以将输出结果按原样设置为抖动类型。另选地，可以将类别定义为大幅抖动、垂直抖动、水平抖动和微小抖动。然后，大幅抖动可以与步行状态相关联。垂直抖动和水平抖动可以与摇摄状态相关联。微小抖动可以与三脚架状态相关联。待确定的抖动类型不限于上述五种类型，可以添加或改变抖动类型。

现在将描述根据本示例性实施例的机器学习模型的学习阶段的细节。作为进行学习时的输入数据，使用关于步行状态、三脚架状态、摇摄状态、保持状态和其他状态的摄像记录。

在步行状态下，在四种移动方向(即向前、向后、向左和向右方向)的条件下拍摄图像。摄像时间因摄影者而异。

在三脚架状态下，在将成像装置200放置在三脚架上的状态下，在改变三种摄像角度(即向上角度、水平角度和向下角度)和成像装置200的两种姿态(即垂直姿态和水平姿态)的组合的同时，拍摄图像2分30秒。

在摇摄状态下，在改变两种方向(即左方向和右方向)、成像装置200的两种姿态(即垂直姿态和水平姿态)和用于保持成像装置200的两种方法(即手持法和三脚架法)的组合的同时，拍摄图像1分钟。

在保持状态下，在改变两种姿态(即摄影者站立的状态和摄影者靠着肘部的状态)和两种摄像方法(即实时取景摄像和在摄影者观看取景器时的摄像)的组合的同时，拍摄图像2分钟。保持状态是摄影者牢牢地举起相机的状态，因此即使进行手持摄像，抖动也相对较小。

在其他状态下，在成像装置200被放置在抖动台(未示出)上并且生成振动的状态下，拍摄图像2分30秒。“其他状态”是指不与步行状态、三脚架状态、摇摄状态和保持状态中的任何状态相对应的状态。

输入数据被划分为学习数据和测试数据。测试数据是这样的数据，其用于确认使用学习数据训练的经训练的机器学习模型的确定精度。此时，同一受试者的数据被分类为学习数据和测试数据中的一者。这是为了防止确定精度由于同一受试者的数据而可能会导致正确的答案而过高。

现在将参照图5描述根据本示例性实施例的使用机器学习模型对抖动类型的确定精度。使用机器学习模型对抖动类型的确定精度在步行状态下具有100％的准确率，在三脚架状态下具有49％的准确率，在摇摄状态下具有88％的准确率，在保持状态下具有99％的准确率，并且在其他状态下具有100％的准确率。抖动类型的确定精度，特别是在步行状态、摇摄状态、保持状态和其他状态下指示非常高的准确率。

现在将参考图6中的流程图来描述在图3中的步骤S104中使用机器学习模型来确定抖动类型的方法。

在步骤S201中，相机MPU 206从相机角速度传感器208和相机加速度传感器209获取相机抖动检测信号。

在步骤S202中，相机MPU 206从非易失性存储器(未示出)中读取传感器的偏移，并从相机抖动检测信号中减去对应于偏移的值。

在步骤S203中，相机MPU 206设置关于去除了偏移的相机抖动检测信号的信息，使得将该信息作为具有预定长度的时序数据输入到机器学习模型中。时序数据的适当长度可以是大于或等于0.1秒且小于或等于5.0秒。如果时序数据超过5.0秒，则需要花费太多时间来获取用于确定抖动类型的数据，这是不可取的。如果时序数据小于0.1秒，则无法获得足够的精度，这是不可取的。为了在摄像时间内确定抖动类型，在一个实施例中，时序数据的长度为大于或等于0.1秒且小于或等于0.4秒。

在步骤S204中，相机MPU 206对相机抖动检测信号进行预处理。

在步骤S205中，相机MPU 206生成经预处理的相机抖动检测信号的特征量。相机获取单元206a获取经预处理的相机抖动检测信号的特征量。

在步骤S206中，相机计算单元206b将经预处理的相机抖动检测信号的特征量作为第一信息输入到机器学习模型。

在步骤S207中，相机计算单元206b基于从机器学习模型输出的类别，确定抖动类型作为第二信息。

现在将参照图7中的流程图描述关于在图3中的步骤S108中基于使用机器学习模型对抖动类型的确定结果的图像稳定的处理。

在步骤S401中，相机MPU 206从相机角速度传感器208和相机加速度传感器209获取相机抖动检测信号。

在步骤S402中，相机MPU 206基于对抖动类型的确定结果来切换对相机抖动检测信号的处理。如果抖动类型是步行状态，则处理进入步骤S403。如果抖动类型是三脚架状态，则处理进入步骤S404。如果抖动类型是摇摄状态，则处理进入步骤S405。如果抖动类型是保持状态，则处理进入步骤S406。如果抖动类型是其他状态，则处理进入步骤S407。

在步骤S403中，相机MPU 206在对相机抖动检测信号的低通滤波器计算中设置截止频率，使得在相机抖动检测信号的值大于其他状态下的值的状态下，截止频率高。这是因为在步行状态下会出现比其他状态更大的图像模糊。

在步骤S404中，相机MPU 206在对相机抖动检测信号的高通滤波器计算中设置截止频率，使得截止频率高于其他状态下的截止频率。这是为了防止由于传感器的偏移而导致的错误图像稳定，因为在三脚架状态下不太可能出现低频抖动。

在步骤S405中，相机MPU 206向相机图像稳定控制单元211发送驱动信号，该驱动信号用于驱动图像传感器201花费预定时间逐渐返回到光轴的中心位置。结果，可以停止图像传感器201的运动以进行图像稳定。这是为了防止摄影者的有意运动作为抖动被校正。相机图像稳定控制单元211可以停止摇摄方向上的图像稳定并且驱动图像传感器201在摇摄方向之外的方向上进行图像稳定。

在步骤S406中，相机MPU 206在从图像传感器201获得的向量信息中检测关于低频抖动的信号，并将该信号与从图像传感器编码器212输出的图像传感器201的位置信号相加。如果确定抖动类型是保持状态，则低频下的图像稳定精度比其他状态有更大的提高。

在步骤S407中，相机MPU 206在对相机抖动检测信号的低通滤波器计算中设置截止频率，使得在相机抖动检测信号的值小于步行状态下的值的状态下，截止频率高。

在步骤S408中，相机MPU 206生成图像稳定信号。相机MPU 206使用经过步骤S403至S407中的任何处理的相机抖动检测信号，计算用于驱动图像传感器201的驱动目标信号。生成根据驱动目标信号与从图像传感器编码器212输出的图像传感器201的位置信号之间的差的图像稳定信号。

在步骤S409中，相机图像稳定控制单元211从相机MPU 206获取图像稳定信号并且进行图像稳定。

如上所述，根据在本公开的第一示例性实施例中描述的摄像操作，可以使用机器学习模型以高精度确定抖动类型并减少拍摄静止图像时的延迟。

在本示例性实施例中，成像装置200进行图像稳定并且确定抖动类型。然而，在本示例性实施例中，镜头装置100可以进行图像稳定并且确定抖动类型。在这种情况下，在镜头MPU 101中而不是在相机MPU 206中提供用于确定抖动类型的功能。镜头装置100使用镜头图像稳定控制单元110，来代替控制图像稳定的相机图像稳定控制单元211。镜头装置100使用图像稳定透镜106来代替图像传感器201，作为通过在成像光学系统的光轴方向上移动来校正抖动的驱动目标构件。镜头装置100使用驱动图像稳定透镜106的图像稳定透镜驱动电机108，来代替驱动图像传感器201的图像传感器驱动电机210。镜头装置100使用输出图像稳定透镜106的位置信号的图像稳定透镜编码器105，来代替输出图像传感器201的位置信号的图像传感器编码器212。

在本示例性实施例中，可以使用具有第一长度的时序数据和具有比第一长度长的第二长度的时序数据作为机器学习模型的输入来确定抖动类型。在这种情况下，相机计算单元206b确定基于具有第一长度的时序数据的抖动类型、以及基于具有第二长度的时序数据的抖动类型。然后，相机图像稳定控制单元211使用基于具有第一长度的时序数据的抖动类型和基于具有第二长度的时序数据的抖动类型中的至少一个来进行图像稳定。

在这种情况下，基于具有第一长度的时序数据的抖动类型的确定的优势在于，获取用于进行确定的数据花费较短的时间。然而，抖动类型的确定精度相对较低。另一方面，在基于具有第二长度的时序数据的抖动类型的确定中，在确定抖动类型时的估计精度相对较高，但是获取用于进行确定的数据花费较长的时间。如上所述，基于具有第一长度的时序数据的抖动类型的确定的好处和基于具有第二长度的时序数据的抖动类型的确定的好处具有权衡关系。

因此，最好是基于具有第一长度的时序数据来确定抖动类型并且基于具有第二长度的时序数据来确定抖动类型。由此，可以高精度地确定抖动类型，并且还可以在具有第二长度的时序数据的获取时段期间，基于具有第一长度的时序数据来确定抖动类型。然而，即使在输出基于具有第二长度的时序数据的抖动类型之后，基于具有第一长度的时序数据的抖动类型也能够用于图像稳定。这是为了在抖动类型改变时立即切换用于图像稳定的抖动类型。在一个实施例中，第一长度为大于或等于0.1秒且小于或等于0.4秒，并且第二长度大于0.4秒且小于或等于5.0秒。另选地，可以将具有第一长度的时序数据和具有第二长度的时序数据输入到不同的机器学习模型，并且可以确定抖动类型。在这种情况下，可以使用进行了适合于输入具有第一长度的时序数据的学习的机器学习模型和进行了适合于输入具有第二长度的时序数据的学习的机器学习模型。

在本示例性实施例中，通过驱动图像传感器201来进行光学图像稳定。然而，在本示例性实施例中，可以进行电子图像稳定来代替光学图像稳定。在这种情况下，成像装置200不需要包括图像传感器驱动电机210，因此，有效节省了成像装置200中的空间。

与光学图像稳定类似，使用相机抖动检测信号进行电子图像稳定。在这种情况下，相机MPU 206可以从镜头角速度传感器103和镜头加速度传感器104获取镜头抖动检测信号，来代替相机抖动检测信号。相机MPU 206基于相机抖动检测信号计算图像稳定量。然后，图像稳定控制单元211基于图像稳定量根据显示单元204上显示的图像或记录在外部存储器(未示出)中的图像裁剪帧图像，从而进行图像稳定。

在本示例性实施例中，可以使用指示被摄体的移动方向和移动速度的向量信息来进行图像稳定。从图像传感器201计算向量信息。然后，相机图像稳定控制单元211基于向量信息使图像传感器201在与镜头装置100中的成像光学系统的光轴正交的方向上移动，从而进行图像稳定。

现在将描述第二示例性实施例。

在第一示例性实施例中，成像装置200确定抖动类型并进行图像稳定。相反，在第二示例性实施例中，成像装置200确定抖动类型，并且镜头装置100进行图像稳定。即，第一示例性实施例和第二示例性实施例彼此不同之处在于，在第一示例性实施例中，相同的电子设备进行抖动类型的确定和图像稳定，而在第二示例性实施例中，不同的电子设备进行抖动类型的确定和图像稳定。由此在根据本示例性实施例的成像装置200中可以不配设图像传感器编码器212、图像传感器驱动电机210和相机图像稳定控制单元211。

现在将参照图8中的流程图来描述根据第二示例性实施例的摄像操作。图8中的步骤S501至S504的处理类似于图3中的步骤S101至S104的处理，因此不再描述。图8中的步骤S506至S508的处理类似于图3中的步骤S105至S107的处理，因此不再描述。图8中的步骤S510的处理类似于图3中的步骤S109的处理，因此不再描述。

在步骤S505中，相机MPU 206将关于由相机计算单元206b确定的抖动类型的信息发送到镜头MPU 101。此时，镜头MPU 101记录对抖动类型的确定结果。一直到步骤S510，相机MPU 206都将关于抖动类型的信息连续发送到镜头MPU 101。

在步骤S509中，相机MPU 206进行例如对包括在成像装置200中的快门(未示出)的驱动。此时，包括在镜头装置100中的光圈(未示出)被驱动。在步骤S509中，镜头图像稳定控制单元110也进行图像稳定。基于在第二快门释放信号Sw2被输入到相机MPU 206之前由相机计算单元206b做出的对抖动类型的确定结果来进行图像稳定。

如上所述，根据在本公开的第二示例性实施例中描述的在不同电子设备进行图像稳定和对抖动类型的确定的情况下的摄像操作，可以使用机器学习模型以高精度确定抖动类型并减少拍摄静止图像时的延迟。

在本示例性实施例中，成像装置200确定抖动类型，并且镜头装置100进行图像稳定。然而，在本示例性实施例中，镜头装置100可以确定抖动类型，并且成像装置200可以进行图像稳定。在这种情况下，在镜头MPU 101中而不是在相机MPU 206中提供用于确定抖动类型的功能。成像装置200使用相机图像稳定控制单元211，来代替控制图像稳定的镜头图像稳定控制单元110。成像装置200使用图像传感器201，来代替图像稳定透镜106，该图像稳定透镜106通过在成像光学系统的光轴方向上移动来校正抖动。成像装置200使用驱动图像传感器201的图像传感器驱动电机210，来代替驱动图像稳定透镜106的图像稳定透镜驱动电机108。成像装置200使用输出图像传感器201的位置信号的图像传感器编码器212，来代替输出图像稳定透镜106的位置信号的图像稳定透镜编码器105。

现在将描述第三示例性实施例。

在第一示例性实施例中，即使在用户给出摄像指令之后，相机计算单元206b也对抖动类型的确定投入了较大的计算负荷。相反，在第三示例性实施例中，在用户给出静止图像拍摄指令之后，相机计算单元206b停止对抖动类型的确定。

在本示例性实施例中，由此可以减少在用户给出摄像指令之后的计算负荷。因此，在本示例性实施例中，与第一示例性实施例相比，可以相应地减少从当由于抖动类型的确定而给出静止图像拍摄指令时到当拍摄图像时的延迟。

在本示例性实施例中，成像装置200进行图像稳定并且确定抖动类型。因此，在镜头装置100中可以不配设图像稳定透镜编码器105、图像稳定透镜106、图像稳定透镜驱动电机108和镜头图像稳定控制单元110。

现在将参照图9中的流程图描述根据本公开的第三示例性实施例的摄像操作。图9中的步骤S601至S603的处理类似于图3中的步骤S101至S103的处理，因此不再描述。图9中的步骤S605至S607的处理类似于图3中的步骤S105至S107的处理，因此不再描述。图9中的步骤S609和S610的处理类似于图3中的步骤S108和S109的处理，因此不再描述。

在步骤S604中，相机计算单元206b使用机器学习模型开始确定抖动类型。相机计算单元206b在相机MPU 206中记录关于确定的抖动类型的信息。相机计算单元206b使用机器学习连续确定抖动类型，一直到在步骤S608中才停止确定。

在步骤S608中，相机计算单元206b停止对抖动类型的确定。因此，可以减少相机计算单元206b中的计算负荷。

如上所述，根据本公开的第三示例性实施例中描述的摄像操作，在给出摄像指令之后停止对抖动类型的确定，由此与第一示例性实施例相比，可以更大程度地减少拍摄静止图像时的延迟。

在本示例性实施例中，成像装置200进行图像稳定并确定抖动类型。然而，在本示例性实施例中，镜头装置100可以进行图像稳定并且确定抖动类型。在这种情况下，在镜头MPU 101中而不是在相机MPU 206中提供用于确定抖动类型的功能。在步骤S607中，镜头MPU101从相机MPU 206获取关于给出摄像指令的信息并停止对抖动类型的确定。

镜头装置100使用镜头图像稳定控制单元110，来代替控制图像稳定的相机图像稳定控制单元211。镜头装置100使用图像稳定透镜106，来代替图像传感器201，作为通过在成像光学系统的光轴方向上移动来校正抖动的驱动目标构件。镜头装置100使用驱动图像稳定透镜106的图像稳定透镜驱动电机108，来代替驱动图像传感器201的图像传感器驱动电机210。镜头装置100使用输出图像稳定透镜106的位置信号的图像稳定透镜编码器105，来代替输出图像传感器201的位置信号的图像传感器编码器212。

本示例性实施例可以应用于如第二示例性实施例中描述的在不同电子设备进行对抖动类型的确定和图像稳定的情况下的构造。

现在将描述第四示例性实施例。

在第四示例性实施例中，相机MPU 206确定抖动类型，并且成像装置200和镜头装置100基于确定结果进行图像稳定。在本示例性实施例中，使用镜头装置100要进行的图像稳定与成像装置200要进行的图像稳定之间的校正比，与第一示例性实施例相比，可以以更高的精度进行图像稳定。

现在将描述根据第四示例性实施例的摄像操作。图10中的步骤S701至S704的处理类似于图3中的步骤S101至S104的处理，因此不再描述。图10中的步骤S706至S708的处理类似于图3中的步骤S105至S107的处理，因此不再描述。图10中的步骤S711的处理类似于图3中的步骤S109的处理，因此不再描述。

在步骤S705中，相机MPU 206将关于确定的抖动类型的信息发送到镜头MPU 101。

在步骤S709中，相机MPU 206从镜头MPU 101获取相机图像稳定控制单元211要进行的图像稳定的校正比。校正比是相机图像稳定控制单元211要进行的抖动校正量与镜头图像稳定控制单元110要进行的抖动校正量之间的比率。校正比由镜头MPU 101计算。

在步骤S710中，相机图像稳定控制单元211进行图像稳定。此时，镜头图像稳定控制单元110也进行图像稳定。基于在校正比和第二快门释放信号Sw2被输入到相机MPU 206之前进行的确定抖动类型的结果，由相机图像稳定控制单元211和镜头图像稳定控制单元110进行图像稳定。在步骤S710中，包括在镜头装置100中的光圈(未示出)也被驱动，并且包括在成像装置200中的快门(未示出)也被驱动。

如上所述，根据在本公开的第四示例性实施例中描述的在使用多个图像稳定控制单元进行图像稳定的情况下的摄像操作，可以使用机器学习模型以高精度确定抖动类型并减少在拍摄静止图像时的延迟。

尽管在本示例性实施例中不同的电子设备进行对抖动类型的确定和对校正比的计算，但是相同的电子设备可以进行对抖动类型的确定和对校正比的计算。如果不同的电子设备进行对抖动类型的确定和对校正比的计算，则成像装置200和镜头装置100可以分担对抖动类型的确定和对校正比的计算。这实现了高效处理。因此，在一个实施例中，电子设备被构造为进行对抖动类型的确定和对校正比的计算。

在本示例性实施例中，成像装置200确定抖动类型。然而，在本示例性实施例中，镜头装置100可以确定抖动类型。在这种情况下，在镜头MPU 101中而不是在相机MPU 206中提供用于确定抖动类型的功能。

在本示例性实施例中，镜头装置100计算校正比。然而，在本示例性实施例中，成像装置200可以计算校正比。在这种情况下，相机MPU206向镜头MPU 101发送镜头图像稳定控制单元110要进行的图像稳定的校正比。

在本示例性实施例中，与第三示例性实施例类似，相机计算单元206b可以在给出摄像指令之后停止对抖动类型的确定。

现在将描述第五示例性实施例。

在第五示例性实施例中，成像装置200和镜头装置100确定抖动类型，并且成像装置200进行图像稳定。如果由成像装置200和镜头装置100做出的确定结果彼此匹配，则可以确定结果具有高可靠性。如果确定结果彼此不匹配，则可以确定结果具有低可靠性。在本示例性实施例中，如果由成像装置200做出的对抖动类型的确定结果(第二信息)和由镜头装置100做出的对抖动类型的确定结果(第三信息)彼此匹配，则根据确定结果来进行图像稳定。如果确定结果彼此不匹配，则根据其他状态进行图像稳定。结果，只有当对抖动类型的确定结果具有高可靠性时，才可以根据抖动类型进行图像稳定。还可以减少由于根据抖动类型的错误确定结果进行的图像稳定而导致的校正精度的劣化。

在本示例性实施例中，成像装置200进行图像稳定。因此，镜头装置100可以不包括图像稳定透镜编码器105、图像稳定透镜106、图像稳定透镜驱动电机108和镜头图像稳定控制单元110。

图11是示出镜头MPU 101的功能的框图。根据本示例性实施例的镜头装置100对抖动类型的确定是使用图11所示的功能进行的。

镜头MPU 101包括镜头获取单元101a和镜头计算单元101b。镜头获取单元101a具有与相机获取单元206a类似的功能。镜头计算单元101b具有与相机计算单元206b类似的功能。

现在将参照图12中的流程图描述根据第五示例性实施例的摄像操作。图12中的步骤S801至S803的处理类似于图3中的步骤S101至S103的处理，因此不再描述。图12中的步骤S805至S807的处理类似于图3中的步骤S105至S107的处理，因此不再描述。图12中的步骤S811和S812的处理类似于图3中的步骤S108和S109的处理，因此不再描述。

在步骤S804中，相机计算单元206b使用机器学习模型开始确定抖动类型。相机计算单元206b将与确定的抖动类型有关的信息记录在相机MPU 206中。此时，镜头计算单元101b也通过与相机计算单元206b类似的方法开始确定抖动类型。镜头MPU 101记录关于由镜头计算单元101b确定的抖动类型的信息。一直到步骤S811，相机计算单元206b和镜头计算单元101b都使用机器学习模型连续确定抖动类型。

在步骤S808中，相机MPU 206从镜头MPU 101获取对抖动类型的确定结果。

在步骤S809中，相机MPU 206将由相机计算单元206b做出的对抖动类型的确定结果与由镜头计算单元101b做出的对抖动类型的确定结果进行比较。

如果对抖动类型的确定结果彼此不匹配(步骤S809中的“否”)，则处理进入步骤S810。相反，如果对抖动类型的确定结果彼此匹配(步骤S809中的“是”)，则处理进入步骤S811。

在步骤S810中，相机图像稳定控制单元211基于其他状态进行图像稳定。因此，可以防止根据可靠性低的对抖动类型的确定结果来进行图像稳定。还可以减少基于抖动类型的错误确定结果的图像稳定精度的劣化。

如上所述，根据本公开的第五示例性实施例中描述的摄像操作，可以基于对抖动类型的确定结果的可靠性，根据抖动类型进行图像稳定。

在本示例性实施例中，成像装置200进行图像稳定。然而，在本示例性实施例中，镜头装置100可以进行图像稳定。在这种情况下，镜头装置100使用镜头图像稳定控制单元110，来代替控制图像稳定的相机图像稳定控制单元211。

镜头装置100使用图像稳定透镜106，来代替图像传感器201作为驱动目标构件，该驱动目标构件通过在成像光学系统的光轴方向上移动来校正抖动。镜头装置100使用驱动图像稳定透镜106的图像稳定透镜驱动电机108，来代替驱动图像传感器201的图像传感器驱动电机210。镜头装置100使用输出图像稳定透镜106的位置信号的图像稳定透镜编码器105，来代替输出图像传感器201的位置信号的图像传感器编码器212。

在本示例性实施例中，与第三示例性实施例类似，相机计算单元206b可以在给出摄像指令之后停止对抖动类型的确定。此时，镜头计算单元101b也可以停止对抖动类型的确定。

在本示例性实施例中，与第四示例性实施例类似，可以使用相机图像稳定控制单元211和镜头图像稳定控制单元110二者来进行图像稳定。

在本示例性实施例中，相机MPU 206比较由相机计算单元206b和镜头计算单元101b做出的对抖动类型的确定结果。然而，镜头MPU 101而不是相机MPU 206可以比较由相机计算单元206b和镜头计算单元101b做出的确定结果。在这种情况下，相机MPU 206在步骤S808中将对抖动类型的确定结果发送到镜头MPU 101。

现在将描述根据第六示例性实施例的智能电话。

根据第六示例性实施例的智能电话与根据第一示例性实施例的成像装置200的不同之处在于，根据第六示例性实施例的智能电话具有摄像功能，但不包括快门释放按钮。图13A和图13B是示出智能电话400的图。图13A示出智能电话400的正面。图13B示出智能电话400的背面。智能电话400不包括如图1中所示的操作单元205中一样的快门释放按钮。因此，第六示例性实施例与第一示例性实施例的不同之处在于源自由操作单元205生成的快门释放信号Sw1和Sw2的处理。

智能电话400包括显示单元401、操作单元402和摄像单元403。

显示单元401由液晶面板构成并且包括触摸传感器。即，除了操作单元402之外，用户还可以通过触摸显示单元401来操作智能电话400。

摄像单元403用于拍摄被摄体。

图14是示出摄像单元403和MPU 404的框图。

摄像单元403包括图像传感器501、聚焦透镜502、图像传感器驱动电机503、聚焦透镜驱动电机504、图像稳定控制单元505和聚焦透镜控制单元506。摄像单元403还包括角速度传感器507、图像传感器编码器508、信号处理电路509和记录处理单元510。

MPU 404基于通过显示单元401和操作单元402提供的输入来控制智能电话400。

图15是示出MPU 404的功能的框图。使用图15所示的功能来进行根据本示例性实施例的智能电话400进行的对抖动类型的确定。

MPU 404包括获取单元404a和计算单元404b。获取单元404a具有与相机获取单元206a类似的功能。计算单元404b具有与相机计算单元206b类似的功能。

图16示出了当摄像应用在智能电话400中启动时显示单元401的状态。

当摄像应用启动时，在智能电话400的显示单元401上显示第一区域601和第二区域602，第一区域601显示被摄体的图像，第二区域602是用于接受摄像指令的虚拟按钮。

在本示例性实施例中，在通过在对静止图像的拍摄中操作第二区域602而给出摄像指令之前，由计算单元404b做出的对抖动类型的确定结果用于在给出摄像指令之后的图像稳定。因此，与第一示例性实施例类似，即使在拍摄静止图像时，也可以使用机器学习模型以高精度确定抖动类型，并且还可以减少从当给出摄像指令时到当拍摄图像时的处理中的延迟。

现在将参照图17所示的流程图描述本公开的第六示例性实施例。当智能电话400的摄像应用启动时开始图17中的流程图。

在步骤S901中，计算单元404b使用机器学习模型开始确定抖动类型。作为机器学习模型的输入数据，使用由获取单元404a获取的经预处理的抖动检测信号的特征量。计算单元404b将关于确定的抖动类型的信息记录在MPU 404中。一直到步骤S906，计算单元404b都使用机器学习连续确定抖动类型。

在步骤S902中，MPU 404测量用于聚焦在被摄体上的距离并计算聚焦透镜502的驱动量。

在步骤S903中，MPU 404再次测量距离。如果确定该距离在聚焦深度内(步骤S903中的“是”)，则处理进入步骤S904。如果该距离在聚焦深度之外(步骤S903中的“否”)，则处理在预定时间内或预定次数内返回到步骤S902。

在步骤S904中，MPU 404确定是否通过用户进行触摸第二区域602的操作给出了摄像指令。如果给出了摄像指令(步骤S904中的“是”)，则处理进入步骤S905。如果没有给出摄像指令(步骤S904中的“否”)，则处理返回到步骤S902。

在步骤S905中，图像稳定控制单元505进行图像稳定。基于在通过用户进行触摸第二区域602的操作给出摄像指令之前由计算单元404b做出的对抖动类型的确定结果，来进行图像稳定。因此，可以缩短从给出摄像指令时到图像稳定控制单元505开始图像稳定时的时间。

在步骤S906中，信号处理电路509从图像传感器501读取信号，并将拍摄图像保存在记录处理单元510中。

如上所述，根据在本公开的第六示例性实施例中描述的智能电话中的摄像操作，可以使用机器学习模型以高精度确定抖动类型并减少拍摄静止图像时的延迟。

在本示例性实施例中，通过驱动图像传感器501来进行智能电话400的图像稳定。然而，如果摄像单元403包括图像稳定透镜，则可以通过驱动图像稳定透镜来进行智能电话400的图像稳定。可以进行电子图像稳定，作为智能电话400的图像稳定。

在本示例性实施例中，类似于第三示例性实施例，计算单元404b可以在向MPU 404给出摄像指令之后停止对抖动类型的确定。

本公开还可以通过经由网络或存储介质向系统或装置提供用于实现上述示例性实施例的一个或多个更功能的程序并使系统或装置的计算机的一个或更多个处理器读取和执行该程序的处理来实现。本公开还可以通过用于实现一个或更多个功能的电路(例如，专用集成电路(ASIC))来实现。

尽管上面已经描述了本公开的示例性实施例，但是本公开不限于这些示例性实施例，并且可以在本公开的范围内以各种方式进行变型和改变。

根据实施例的方面，可以提供一种进行用于以高精度确定摄像状态的确定处理的电子设备。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本公开的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本公开的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本公开进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (20)

1.一种电子设备，其包括：

获取单元，其被构造为获取关于抖动的第一信息；

计算单元，其被构造为将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及

第一控制单元，其被构造为使用所述第二信息控制图像稳定，

其中，所述第一控制单元通过使用在给出拍摄指令之前的基于所述第一信息的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

2.根据权利要求1所述的电子设备，其中，所述计算单元根据所述拍摄指令，停止使用所述机器学习模型的处理。

3.根据权利要求1所述的电子设备，其中，所述第一信息是长度大于或等于0.1秒且小于或等于5.0秒的时序数据。

4.根据权利要求1所述的电子设备，其中，所述第一信息是长度大于或等于0.1秒且小于或等于0.4秒的时序数据。

5.根据权利要求1所述的电子设备，其中，所述计算单元输出基于作为具有第一长度的时序数据的所述第一信息的所述第二信息、以及基于作为具有第二长度的时序数据的所述第一信息的所述第二信息，所述第二长度比所述第一长度长。

6.根据权利要求5所述的电子设备，其中，所述第一控制单元使用基于具有所述第一长度的所述第一信息的所述第二信息和基于具有所述第二长度的所述第一信息的所述第二信息中的至少一个，来控制图像稳定。

7.根据权利要求6所述的电子设备，其中，在从所述计算单元输出基于具有所述第二长度的所述第一信息的所述第二信息之前，所述第一控制单元使用基于具有所述第一长度的所述第一信息的所述第二信息，来控制图像稳定。

8.根据权利要求1所述的电子设备，所述电子设备还包括被构造为输出速度信号的速度传感器和被构造为输出加速度信号的加速度传感器中的至少一个，

其中，所述第一信息是基于与所述速度信号和所述加速度信号中的至少一个相关的检测信号的数据。

9.根据权利要求8所述的电子设备，其中，所述第一信息是基于经过标准化处理、缺失值去除处理、异常值去除处理和单位转换处理中的至少一个的所述检测信号的数据。

10.根据权利要求8所述的电子设备，其中，所述第一信息包括所述检测信号的平均值、最大值、最小值、根和、方差、标准偏差、峰度和偏度中的至少一个。

11.根据权利要求8所述的电子设备，其中，所述第一控制单元使用所述检测信号和基于所述第二信息的图像稳定信号，来进行图像稳定。

12.根据权利要求1所述的电子设备，其中，所述第二信息是关于从包括步行状态、三脚架状态和摇摄状态中的至少一个的多个抖动类型中选择的抖动类型的信息。

13.根据权利要求1所述的电子设备，所述电子设备还包括图像传感器，

其中，所述第一控制单元通过驱动所述图像传感器来控制图像稳定。

14.根据权利要求1所述的电子设备，所述电子设备还包括图像稳定透镜，

其中，所述第一控制单元通过驱动所述图像稳定透镜来控制图像稳定。

15.根据权利要求1所述的电子设备，

其中，所述电子设备与包括第二控制单元的其他设备通信，所述第二控制单元被构造为控制图像稳定，并且

其中，所述第一控制单元获取要由所述第一控制单元进行的图像稳定与要由所述第二控制单元进行的图像稳定之间的校正比，并使用所述校正比和所述第二信息来控制图像稳定。

16.根据权利要求1至15中的任一项所述的电子设备，

其中，所述电子设备从被构造为与所述电子设备通信的其他设备获取关于抖动类型的第三信息，并且

其中，所述第一控制单元使用基于所述第二信息和所述第三信息的信息，来控制图像稳定。

17.根据权利要求16所述的电子设备，其中，在所述第二信息和所述第三信息彼此匹配的情况下，所述第一控制单元使用所述第二信息控制图像稳定。

18.一种在系统中使用的电子设备，所述系统包括第一设备和具有控制单元的第二设备，所述控制单元被构造为与所述第一设备通信，并且被构造为使用在给出拍摄指令之前的关于抖动类型的信息，来控制在给出所述拍摄指令之后的图像稳定，所述电子设备包括：

获取单元，其被构造为获取关于在所述第一设备和所述第二设备中的至少一个中出现的抖动的第一信息；

计算单元，其被构造为将所述第一信息输入到机器学习模型并输出关于抖动类型的信息；以及

通信单元，其被构造为向所述第二设备发送在给出所述拍摄指令之前的使用所述第一信息而从所述计算单元输出的关于抖动类型的信息。

19.一种方法，其包括如下步骤：

获取步骤，获取关于抖动的第一信息；

输入输出步骤，将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及

控制步骤，使用所述第二信息控制图像稳定，

其中，在所述控制步骤中，通过使用在给出拍摄指令之前的基于所述第一信息的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

20.一种非易失性计算机可读存储介质，其存储用于使计算机执行方法的程序，所述方法包括如下步骤：

获取步骤，获取关于抖动的第一信息；

输入输出步骤，将所述第一信息输入到机器学习模型并输出关于抖动类型的第二信息；以及

控制步骤，使用所述第二信息控制图像稳定，

其中，在所述控制步骤中，通过使用在给出拍摄指令之前的基于所述第一信息的所述第二信息，来控制在给出所述拍摄指令之后的图像稳定。

Images