CN115696039A - 数据处理方法、装置、移动终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法、装置、移动终端及存储介质。所述方法包括：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据；获取所述倍率对应的数据处理方式；基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方式，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

Description

数据处理方法、装置、移动终端及存储介质

技术领域

本申请属于终端控制技术领域，具体涉及一种数据处理方法、装置、移动终端及存储介质。

背景技术

摄像头在进行拍照时，先进行变焦(即调整好焦距)后再进行拍摄。其中，焦距是从镜头中心点到传感器平面上所形成的清晰影像之间的距离。

由于单个摄像头的变焦距离始终有限，为了满足多种使用场合的焦距需要，移动终端上的摄像头又另外添加了一个，形成了双摄像头。在采用双摄像头的移动终端中，默认一个摄像头作为主摄像头，主摄像头适用于日常场景；另一个摄像头作为副摄像头，该副摄像头的焦距不同于主摄像头。当需要变焦拍摄物体时，移动终端中的控制芯片控制变焦过程，直接从主摄像头的焦距转换至副摄像头的焦距，变焦过程平滑，预览画面不会出现跳动。

然而，在一些特殊的使用场合中，双摄像头覆盖的倍率区间包括多个，多个倍率区间对应的成像效果不同，在某些倍率区间下，双摄像头的成像效果依旧达不到人们想要的效果，因此通过在双摄像头的基础上又添加摄像头，以此来满足人们的需求。但在相关的对多个摄像头对应的多路数据进行处理的方式中，对多路数据处理的灵活性还有待提高。

发明内容

鉴于上述问题，本申请提出了一种数据处理方法、装置、移动终端以及存储介质，以实现改善上述问题。

第一方面，本申请实施例提供了一种数据处理方法，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据；获取所述倍率对应的数据处理方式；基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

第二方面，本申请实施例提供了一种数据处理装置，运行于移动终端，所述移动终端包括多个摄像头，所述装置包括：倍率获取单元，用于在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据；方式获取单元，用于获取所述倍率对应的数据处理方式；处理单元，用于基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

第三方面，本申请实施例提供了一种移动终端，包括一个或多个处理器以及存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供了一种数据处理方法、装置、移动终端及存储介质。在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据，然后获取该倍率对应的数据处理方式，基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方式，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请一实施例提出的一种数据处理方法的流程图；

图2示出了本申请另一实施例提出的一种数据处理方法的流程图；

图3示出了本申请再一实施例提出的一种数据处理方法的流程图；

图4示出了本申请再一实施例中的预设出流策略的配置示意图；

图5示出了本申请又一实施例提出的一种数据处理方法的流程图；

图6示出了本申请实施例提出的一种数据处理装置的结构框图；

图7示出了本申请实施例提出的一种数据处理装置的结构框图；

图8示出了本申请实时中的用于执行根据本申请实施例的数据处理方法的移动终端的结构框图；

图9示出了本申请实时中的用于保存或者携带实现根据本申请实施例的数据处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在当前的移动终端的相机镜头支持方案中，平滑变焦为其中一个很重要的功能，例如对于视频录制、拍照等场景，经常需要进行变焦处理。在通过移动终端的摄像头进行拍照时，会先进行变焦(即调整好焦距)后再进行拍摄。其中，焦距是从镜头中心点到传感器平面上所形成的清晰影像之间的距离。

对于移动终端来说，一般会有3～5个不同类型镜头的支持。一般情况下，多摄移动终端的相机操作页面会有0.6X，1X，2X或5X、10X的焦段切换选择，其中，表征焦段的数字越小，拍摄的范围越广；表征焦段的数字越大，拍摄的范围越远，这也大致对应了超广角镜头、主摄镜头、长焦镜头的焦段。

主摄镜头：可以知道的是，大多数移动终端的主摄像头一般为等效于28mm左右的广角镜头，因为这个焦距接近于“人眼所见”的取景范围，所见即所拍，因此，主摄像头也是使用频率最高的摄像头。

打开移动终端相机的操作页面，能够在操作页面中看到1X的数值显示，1X为主摄像头焦段，这个焦段下的画质是所有焦段中最好的，适合拍人像、建筑、风光、纪实等等。

超广角镜头：超广角镜头能够提供较主摄像头更加宽广的视野。需要注意的是超广角镜头的焦段在一些移动终端上的显示不同，比如，在一些移动终端中显示为0.5X，在一些移动终端中显示为0.6X，在一些移动终端中则直接显示为文字广角。

超广角镜头和主摄镜头相比，超广角镜头能够拍摄更加广阔的画面，适合拍风光以及建筑等，能够获得具有冲击力的画面感。

此外，超广角镜头具有超大的取景范围，同一位置下能够获得更宽广的画面，对后期的重新裁切带来了巨大便利。拍摄风景时使用超广角镜头，不仅可以让更多的风景元素入镜，只要加以构图运用，可以体现画面的纵深感和空间感，让整个风光照片看起来气势磅礴。

此外，超广角镜头天生便有镜头扭曲的特性，会使照片边缘的东西被拉长和放大，可以充分利用它的变形效果进行仰拍，可以出现这种“近大远小”的视觉冲击力。在拍摄建筑时，可以利用超广角镜头的镜头扭曲的特性而让建筑物更宏伟。

长焦镜头：1X以上的焦段通常称为长焦，X前面的系数调得越高就能拍得越远。例如一些移动终端上的5倍光学变焦，当在切换焦段切换到5X时，可以从原来的主摄镜头切换到长焦镜头进行拍摄。长焦镜头可以从远处拍摄更高质量的照片，拍摄更远处的物体或放大画面中的物体，而不会像数码变焦那样导致画质下降。在不方便走动的情况下，想在杂乱的建筑中取景，单凭移动终端的主摄镜头难以抓住拍摄主体，这时可以使用移动终端的长焦镜头进行拍摄，能让平平无奇的照片更有层次。

长焦镜头能够“拉近”背景与前景的距离，从而带来一种空间距离的压缩感，使得整体画面更加充实，这种“压缩感”正是长焦镜头的特点之一。

长焦镜头变形小，透视效果弱能拉近前景与背景之间的距离，增强前景和背景的关系，从而创造一些独特的视觉特效。

利用这个特点还可以用道路、栏杆等平直延伸的景物充当引导线，把用户的注意力引向画面纵深处的主体。

总而言之，虽然多摄移动终端不能保证能够拍出更好的照片，但每个镜头都有着不同特点。因此在目前的相机拍摄方案中可以通过平滑变焦，来实现在不同的拍摄场景下根据用户需求进行实时的相机镜头的切换。

例如，某移动终端使用如下的定焦镜头：40MP、超感光、等效焦距27mm、F1.6；20MP、超广角、等效焦距16mm、F2.2；8MP、潜望式长焦、等效焦距125mm、F3.4等三种定焦镜头。

在16mm-27mm、27mm-125mm中间的焦段连续变化，通过融合数码变焦，最终实现16mm-125mm连续的变焦。

在变焦的过程中镜头的切换如何保证切换的流畅性以及减少图像的跃变成为目前相机需要考虑的问题。

在目前的平滑变焦方案中，例如对于一些移动终端来说是触发平滑变焦切换或者可能触发平滑变焦时，才开始输出第二图像数据流，并基于第二图像数据流进行空间对齐处理；对于另外一些移动终端来说，则是三路图像数据流长时间处于正常出流的状态(三路图像数据的帧率会有差异)，这两种方案或者增大了切换的时长，影响切换效果；或者三路图像数据流长时间一起出数据会增加系统的功耗，可能会造成移动终端发热。

发明人在对三路图像数据流长时间一起出数据的方案的研究中发现，在对多路数据进行处理时，对多路数据处理的灵活性还有待提高。

因此，发明人提出了本申请中的数据处理方法、装置、移动终端及存储介质。在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据，然后获取该倍率对应的数据处理方式，基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方式，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

下面将结合附图具体描述本申请的各实施例。

请参阅图1，本申请实施例提供的一种数据处理方法，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：

步骤S110：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据。

可以知道的是，变焦是指改变摄像头的焦距能采集到更为清晰的图像的技术。变焦通常有两种实现方式：光学变焦和数码变焦。光学变焦是依赖镜头组的物理移动实现的一种变焦技术，光学变焦能够实现摄像头在将远处物体放大的同时还能够增加像素，使得物体图像在放大的同时还能够保证物体图像的清晰度；数码变焦是依赖差值算法所实现的一种变焦技术，数码变焦是指摄像头能将远处的物体放大，并且通过差值算法对放大的物体图像进行清晰度的处理。数码变焦对于物体图像清晰度的处理存在一定的限制，最终的成像效果较差于光学变焦的成像效果。

同时，摄像中还常常会提及变焦镜头和定焦镜头。变焦镜头是指能够进行光学变焦的镜头，即摄像头能够根据需要调节自身的焦距，改变变焦倍率。定焦镜头是指不能进行光学变焦的镜头，即摄像头的焦距是固定的，如果想要改变物体图像，只能通过改变拍摄的位置或使用数码变焦的方式。

光学变焦虽然成像效果好，但是光学变焦的摄像头一般较为笨重，不符合目前移动终端的设计主流。为了符合移动终端结构轻薄的设计主流，目前移动终端主要采用定焦镜头和数码变焦相结合的设计方案。而为了能够保证移动终端在放大物体后，物体图像依旧能够保证清晰度，相关技术中对移动终端采用增加焦距性能不同的摄像头来实现，比如在一部手机上同时设置2个、3个、4个甚至更多不同类型的摄像头。移动终端在进行变焦时，通过切换焦距性能不同的摄像头来实现变焦倍率的改变。

在本申请实施例中，移动终端上的摄像头数量多于两个，即移动终端变焦的范围更大，拍摄出来的图像效果更好。倍率指的是多个摄像头各自对应的物理倍率。

移动终端上同时设置多个不同类型的摄像头，这些摄像头存在物理性能上的差别，使得这些摄像头拥有对应的物理倍率区间，然而这些物理倍率区间也可能存在交集，往往需要通过软件为每个摄像头设定较合适的软件倍率区间。比如三个摄像头的物理性能不同，各自具有一个性能较优的物理倍率区间，这些物理倍率区间存在一点交集。终端的软件上可以设置每个摄像头的较优软件倍率区间，这三个倍率区间是连续的，比如这三个倍率区间分别是[1x～2x)、[2x～5x)、[5x～6x)。

在本申请实施例中，移动终端包括的多个摄像头各自对应的物理倍率不同。当检测到在进行平滑变焦过程中，在从初始倍率向期望倍率进行变焦的过程中，实时获取移动终端当前显示的当前帧图像图像，并获取当前帧图像数据对应的倍率。其中，初始倍率为进行变焦操作之前的移动终端的相机对应的倍率，期望倍率为进行变焦操作之后的移动终端用于录制视频或拍照的最终倍率。

作为一种方式，在不同的物理倍率下，移动终端中显示的当前帧图像数据是不同的。具体的，可以预先分析每个物理倍率下，获得的图像数据的特点，进而在进行滑动变焦操作的过程中，在获取到移动终端当前显示的图像数据后，可以对该图像数据进行分析，确定该图像数据的特点，进而根据该图像数据的特点确定该图像数据对应的倍率。其中，倍率越大，对应的图像数据中包括的成像物体越少，因此，可以根据成像物体的面积或者数量作为不同倍率下，移动终端当前显示的图像数据的特点，当然还可以有其他的特点，在此不作具体限定。

步骤S120：获取所述倍率对应的数据处理方式。

在本申请实施例中，数据处理方式用于对移动终端中每个摄像头输出的图像数据流进行处理。不同的摄像头输出的图像数据流，对应的数据处理方式可以相同，也可以不同。当然，也可以设置为一些摄像头输出的图像数据流对应的处理方式相同，一些摄像头输出的图像数据流对应的数据处理方式不同。

另外，在本申请实施例中，不同的倍率对应的数据处理方式不同。具体的，可以预先为不同的倍率设置不同的数据处理方式，进而当获取到当前帧图像数据对应的倍率后，可以根据预先设置的倍率与数据处理方式的对应关系，确定与当前帧图像数据对应的倍率对应的数据处理方式。

步骤S130：基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

在本申请实施例中，在获取到对应的数据处理方式后，通过对应的数据处理方式对移动终端输出的多路图像数据流进行处理。其中，一个摄像头输出一路图像数据流，移动终端中有多少个摄像头就有多少路图像数据流输出。例如，若移动终端中包括有3个摄像头，那么对应的多个图像数据流就包括3路图像数据流。

作为一种方式，在通过对应的数据处理方式对多路图像数据进行处理时，可以包括对多路图像数据流进行空间对齐处理，或者将多路图像数据流中的某些路图像数据流进行丢弃，或者对多路图像数据流中的某些数据进行处理，即对多路图像数据进行部分处理，在此不做具体限定。

本申请提供的一种数据处理方法，在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据，然后获取该倍率对应的数据处理方式，基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方式，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

请参阅图2，本申请实施例提供的一种数据处理方法，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：

步骤S210：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据。

在本申请实施例中，在从初始倍率向期望倍率进行变焦的过程中，由于倍率是实时一点点变化的，因此，可以实时获取在平滑变焦过程中的当前帧图像数据对应的倍率。其中，倍率在实时变化时，可以按照预设倍率值等距变化，也可以按照不同的预设倍率值进行变化，在此不做具体限定。为了在进行空间对齐处理时，可以得到更好的对齐效果，因此，可以将预设倍率值设置得小一点。

可选的，从初始倍率到期望倍率，倍率的变化间隔是预先可以知道的，因此，可以每隔预设时间获取一次当前帧图像数据的倍率。此时的当前帧图像数据为获取倍率的时刻，移动终端中显示的图像数据。其中，预设时间为预先设置的确定倍率区间发生变化的时间。

步骤S220：获取所述倍率所处的倍率区间。

在本申请实施例中，可以预先将整个变焦焦段划分为n个倍率区间，移动终端内的每个摄像头对应各自较为合适的倍率区间。第i个摄像头与第i倍率区间对应，相邻的两个倍率区间之间可以是连续但不存在交集的。在拍摄过程中进行变焦时，移动终端会获取用户设定(或自动对焦程序所确定)的期望倍率，该期望倍率为指定的变焦倍率，移动终端通过确定与该期望倍率匹配的倍率区间，选择当前优先使用的摄像头。

在获取到当前帧图像数据对应的倍率后，根据预先划分的n个倍率区间，将当前帧图像数据对应的倍率分别与每个倍率区间的最大倍率和最小倍率进行比较，进而确定当前帧图像数据对应的倍率所处的倍率区间。具体的，若当前帧图像数据对应的倍率大于或等于第i个倍率区间的最小倍率，且当前帧图像数据对应的倍率小于或等于第i个倍率区间的最大倍率，则确定当前帧图像数据对应的倍率所处的倍率区间为第i个倍率区间。

步骤S230：基于所述倍率区间，确定对应的数据处理方式。

在本申请实施例中，为了不频繁的切换对多路图像数据流的处理方式，增加移动终端的功耗。因此，在对数据处理方式进行设置时，可以为一个倍率区间设置一种对应的数据处理方式，在当前帧图像数据的倍率处于某个倍率区间时，一直以该倍率区间对应的数据处理方式对多路图像数据流进行处理。其中，预先划分倍率区间可以包括第一倍率区间、第二倍率区间以及第三倍率区间；第一倍率区间、第二倍率区间以及第三倍率区间之间是连续但没有交集的；第一倍率区间、第二倍率区间以及第三倍率区间对应的倍率可以逐渐递增，也可以逐渐递减，在此不做具体限定。

在本申请实施例中，以第一倍率区间、第二倍率区间以及第三倍率区间对应的倍率逐渐递增为例，第一倍率区间对应的数据处理方式为第一数据处理方式，第二倍率区间对应的数据处理方式为第二数据处理方式，第三倍率区间对应的数据处理方式为第三数据处理方式。其中，第一数据处理方式、第二数据处理方式以及第三数据处理方式不同。

作为一种方式，若所述倍率处于第一倍率区间，确定对应的数据处理方式为第一数据处理方式，所述第一数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流做丢弃处理。

其中，对多路图像数据流中的至少两路图像数据流做空间对齐处理可以包括只对多路图像数据流中的两路图像数据流进行空间对齐处理；也可以包括对多路图像数据流中的三路图像图数据流或更多路的图像数据流做空间对齐处理。在对多路图像数据流中的至少两路图像数据流做空间对齐处理时，可以通过空间对齐算法对多路图像数据流中的至少两路图像数据流做空间对齐处理。

作为另一种方式，若所述倍率处于第二倍率区间，确定对应的数据处理方式为第二数据处理方式，所述第二数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流中的拍摄参数做对齐处理。

在本申请实施例中，拍摄参数可以包括自动曝光、自动对焦以及自动白平衡等三种参数。对至少两路图像数据流以外的图像数据流中的拍摄参数做对齐处理可以理解为，抽取至少两路图像数据流以外的图像数据流中的拍摄参数，通过预设对齐算法进行对齐处理。其中，预设对齐算法可以包括自动曝光算法、自动对焦算法、自动白平衡算法等。

可选的，若所述倍率处于第三倍率区间，确定对应的数据处理方式为第三数据处理方式，所述第三数据处理方式为对所述多路图像数据流做空间对齐处理。

在本申请实施例中，在对多路图像数据流做空间对齐处理时，先对其中的两路图像数据流进行空间对齐处理，得到对齐后的图像数据流，然后再将对齐后的图像数据流与还未进行对齐处理的一路图像数据流进行空间对齐处理，以此方式对多路图像数据流进行空间对齐处理。

在本申请实施例中，作为一种方式，由于移动终端包括多个摄像头，每个摄像头分别对应于每个倍率区间，因此，在确定了当前帧图像数据对应的倍率所处的倍率区间后，可以将该倍率区间对应的摄像头作为获取当前帧图像数据的摄像头。示例性的，若移动终端包括3个摄像头，3个摄像头分别为超广角摄像头、广角摄像头以及长焦摄像头。超广角摄像头、广角摄像头以及长焦摄像头这3个摄像头分别对应上述的第一倍率区间、第二倍率区间以及第三倍率区间，超广角摄像头、广角摄像头以及长焦摄像头这3个摄像头分别对应的图像数据流为第一图像数据流、第二图像数据流以及第三图像数据流。当确定当前帧图像数据对应的倍率处于第一倍率区间时，确定是通过超广角摄像头对当前帧图像数据进行采集，在这种情况下，对应的数据处理方式为第一数据处理方式，进而会对第一图像数据流、第二图像数据流进行空间对齐处理，对第三图像数据流做丢弃处理。

当确定当前帧图像数据对应的倍率处于第二倍率区间时，确定是通过广角摄像头对当前帧图像数据进行采集，在这种情况下，对应的数据处理方式为第二数据处理方式，进而会对第一图像数据流、第二图像数据流进行空间对齐处理，对第三图像数据流中的拍摄参数做对齐处理。

当确定当前帧图像数据对应的倍率处于第三倍率区间时，确定是通过长焦摄像头对当前帧图像数据进行采集，在这种情况下，对应的数据处理方式为第三数据处理方式，进而会对第一图像数据流、第二图像数据流以及第三图像数据流进行空间对齐处理。

可选的，如果对齐算法需要提前做一部分的对齐处理，那么可以在非触发平滑变焦的时间段，让三路图像数据流一起同样经过VNPU的处理(这时的帧率是20+7.5+3fps)，而在触发平滑变焦做空间对齐处理之后才单独对第三路图像数据流做单独的处理(丢弃或是只抽取拍摄参数)。

步骤S240：基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

本申请提供的一种数据处理方法，在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据，然后获取倍率所处的倍率区间，基于倍率区间确定对应的数据处理方式，最后基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方法，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

请参阅图3，本申请实施例提供的一种数据处理方法，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：

步骤S310：当检测到相机开启时，根据预设出流策略对多路图像数据流进行配置。

在本申请实施例中，预设出流策略用于控制多个摄像头以预设帧率进行图像数据流输出。其中，在不同的倍率下，多个摄像头对应的预设帧率不同。具体的，预设出流策略可以如图4所示，图4中的0.5X、0.8X、1X、...、20X、...等表征倍率。“UW”表示超广角摄像头，“W”表示广角镜头、“T”表示长焦摄像头。由图4可以看出，当倍率处于0.5X～1X区间时，超广角摄像头以30fps的帧率进行图像数据流的输出，当倍率处于1X～2.8X区间时，超广角摄像头以7.5fps的帧率进行图像数据流的输出，当倍率处于2.8X～最大倍率区间时，超广角摄像头以0(3)fps的帧率进行图像数据流的输出。

当倍率处于0.5X～1X区间时，广角摄像头以7.5fps的帧率进行图像数据流的输出，当倍率处于1X～5X区间时，广角摄像头以30fps的帧率进行图像数据流的输出，当倍率处于5X～最大倍率区间时，广角摄像头以7.5fps的帧率进行图像数据流的输出。

当倍率处于0.5X～2.8X区间时，长焦摄像头以0(3)fps的帧率进行图像数据流的输出，当倍率处于2.8X～5X区间时，长焦摄像头以7.5fps的帧率进行图像数据流的输出，当倍率处于5X～最大倍率区间时，长焦摄像头以30fps的帧率进行图像数据流的输出。

图4为当不触发平滑变焦切换时，倍率稳定某个倍率值进行预览或录制时的主、副摄和第三路的帧率配置策略；其中第三路的3fps即为bypass VNPU的方案，即第三路图像数据流不经过图像嵌入式神经网络处理器(VNPU)的处理，而0fps即是在进入ISP之前就将第三路图像数据流的图像数据进行丢弃(但摄像头不停流，因此当需要第三路图像数据流的时候还可以快速的将数据流进行接入)。当触发平滑变焦切换时，同样时根据当前帧图像数据所处的倍率区间决策主、副摄和第三路的配置。

可选的，在本申请实施例中，多路图像数据流是同时开启的，多路图像数据流同时开启主要是为了保证能够在进行空间对齐处理时能够快速的同时将两路图像数据流送给空间对齐算法模块，而无需等待摄像头重新出流。而一般切换摄像头的场景肯定都是从当前的主副摄之间开始切换，可以理解为一段短时间的过渡才会真正完全利用第三路图像数据流做空间对齐处理，因此对第三路的处理可以在触发平滑变焦切换的时候才开始准备恢复为正常的(和当前主副摄一样的处理流程)处理流程。其切换时刻可以根据当前帧的倍率的变化进行确定，以保证切换时刻的准确性。

作为一种方式，当检测到相机打开时，开始图像预览，根据上述的出流策略对多个摄像头的帧率进行配置。

步骤S320：响应于倍率调整操作，触发进行平滑变焦操作。

在本申请实施例中，倍率调整操作为对倍率进行调整的操作。当检测到用户输入的期望倍率或检测到调整倍率的控件被拉起时，触发进行平滑变焦切换流程。

作为一种方式，步骤S320之后还包括：对所述多个摄像头中的副摄像头的帧率进行调整，控制所述副摄像头以目标帧率进行图像数据流输出。

在本申请实施例中，为了不超过VNPU的带宽限制，可以在触发平滑变焦的场景中，通过对当前帧图像数据的倍率变化，实时调整每个摄像头的帧率，以减少VNPU的带宽。

在触发了平滑变焦切换流程之后，触发副摄的帧率调整，将副摄的帧率调整至上述设置的目标帧率，控制副摄像头以目标帧率进行图像数据流输出。

步骤S330：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据。

步骤S340：获取所述倍率对应的数据处理方式。

步骤S350：基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

本申请提供的一种数据处理方法，首先当检测到相机开启时，根据预设出流策略对多路图像数据流进行配置，然后响应于倍率调整操作，触发进行平滑变焦操作，在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，再获取倍率对应的数据处理方式，最后基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为多个摄像头输出的图像数据流。通过上述方法，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

请参阅图5，本申请实施例提供的一种数据处理方法，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：

步骤S410：在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据。

步骤S420：获取所述倍率对应的数据处理方式。

步骤S430：基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

步骤S440：若所述倍率等于目标倍率，结束进行所述平滑变焦操作。

在本申请实施例中，目标倍率为前述的期望倍率。在进行平滑变焦操作的过程中，实时获取当前帧图像数据的倍率，当检测到当前帧图像数据对应的倍率等于期望倍率时，确定平滑变焦操作完成。

步骤S450：基于所述目标倍率，从所述多个摄像头中重新确定主摄像头。

步骤S460：将所述目标倍率对应的摄像头作为主摄像头。

在本申请实施例中，将获取目标倍率所处的倍率区间，将多个摄像头中，该倍率区间所对应的摄像头作为主摄像头。

步骤S470：通过所述主摄像头进行图像预览。

在本申请实施例中，通过确定的主摄像头进行图像预览或者视频录制。

本申请提供的一种数据处理方法，在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行平滑变焦操作的过程中，移动终端实时显示的图像数据，然后获取倍率对应的数据处理方式，基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为多个摄像头输出的图像数据流。通过上述方法，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

请参阅图6，本申请实施例提供的一种数据处理装置500，运行于移动终端，所述移动终端包括多个摄像头，所述装置500包括：

倍率获取单元510，用于在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据。

方式获取单元520，用于获取所述倍率对应的数据处理方式。

作为一种方式，方式获取单元520具体用于获取所述倍率所处的倍率区间；基于所述倍率区间，确定对应的数据处理方式。

作为另一种方式，方式获取单元520具体用于若所述倍率处于第一倍率区间，确定对应的数据处理方式为第一数据处理方式，所述第一数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流做丢弃处理；若所述倍率处于第二倍率区间，确定对应的数据处理方式为第二数据处理方式，所述第二数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流中的拍摄参数做对齐处理；若所述倍率处于第三倍率区间，确定对应的数据处理方式为第三数据处理方式，所述第三数据处理方式为对所述多路图像数据流做空间对齐处理。

处理单元530，用于基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

请参阅图7，所述装置500还包括：

配置单元540，用于当检测到相机开启时，根据预设出流策略对多路图像数据流进行配置；响应于倍率调整操作，触发进行平滑变焦操作。

作为一种方式，配置单元540具体还用于对所述多个摄像头中的副摄像头的帧率进行调整，控制所述副摄像头以目标帧率进行图像数据流输出。

确定单元550，用于若所述倍率等于目标倍率，结束进行所述平滑变焦操作；基于所述目标倍率，从所述多个摄像头中重新确定主摄像头。

作为一种方式，确定单元550还用于将所述目标倍率对应的摄像头作为主摄像头；通过所述主摄像头进行图像预览。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图8对本申请提供的一种移动终端进行说明。

请参阅图8，基于上述的数据处理方法、装置，本申请实施例还提供的另一种可以执行前述数据处理方法的移动终端800。移动终端800包括相互耦合的一个或多个(图中仅示出一个)处理器802、存储器804以及网络模块806。其中，该存储器804中存储有可以执行前述实施例中内容的程序，而处理器802可以执行该存储器804中存储的程序。

其中，处理器802可以包括一个或者多个处理核。处理器802利用各种接口和线路连接整个移动终端800内的各个部分，通过运行或执行存储在存储器804内的指令、程序、代码集或指令集，以及调用存储在存储器804内的数据，执行移动终端800的各种功能和处理数据。可选地，处理器802可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器802可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器802中，单独通过一块通信芯片进行实现。

存储器804可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器804可用于存储指令、程序、代码、代码集或指令集。存储器804可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储移动终端800在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

所述网络模块806用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如和音频播放设备进行通讯。所述网络模块806可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。所述网络模块806可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块806可以与基站进行信息交互。

请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质900中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质900可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质900包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质900具有执行上述方法中的任何方法步骤的程序代码910的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码910可以例如以适当形式进行压缩。

本申请提供的一种数据处理方法、装置、移动终端以及存储介质，在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据，然后获取该倍率对应的数据处理方式，基于数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。通过上述方式，不同的倍率对应不同的数据处理方式，进而可以根据当前的倍率对多路图像数据做差异化的处理，从而提高了对多路图像数据处理的灵活性。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (10)

1.一种数据处理方法，其特征在于，应用于移动终端，所述移动终端包括多个摄像头，所述方法包括：

在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据；

获取所述倍率对应的数据处理方式；

基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

2.根据权利要求1所述的方法，其特征在于，所述获取所述倍率对应的数据处理方式，包括：

获取所述倍率所处的倍率区间；

基于所述倍率区间，确定对应的数据处理方式。

3.根据权利要求2所述的方法，其特征在于，所述基于所述倍率区间，确定对应的数据处理方式，包括：

若所述倍率处于第一倍率区间，确定对应的数据处理方式为第一数据处理方式，所述第一数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流做丢弃处理；

若所述倍率处于第二倍率区间，确定对应的数据处理方式为第二数据处理方式，所述第二数据处理方式为对所述多路图像数据流中的至少两路图像数据流做空间对齐处理，对所述至少两路图像数据流以外的图像数据流中的拍摄参数做对齐处理；

若所述倍率处于第三倍率区间，确定对应的数据处理方式为第三数据处理方式，所述第三数据处理方式为对所述多路图像数据流做空间对齐处理。

4.根据权利要求1所述的方法，其特征在于，所述在进行平滑变焦的过程中，获取当前帧图像数据对应的倍率之前还包括：

当检测到相机开启时，根据预设出流策略对多路图像数据流进行配置；

响应于倍率调整操作，触发进行平滑变焦操作。

5.根据权利要求4所述的方法，其特征在于，所述响应于倍率调整操作，触发进行平滑变焦操作之后还包括：

对所述多个摄像头中的副摄像头的帧率进行调整，控制所述副摄像头以目标帧率进行图像数据流输出。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述倍率等于目标倍率，结束进行所述平滑变焦操作；

基于所述目标倍率，从所述多个摄像头中重新确定主摄像头。

7.根据权利要求6所述的方法，其特征在于，所述基于所述目标倍率，从所述多个摄像头中重新确定主摄像头，包括：

将所述目标倍率对应的摄像头作为主摄像头；

通过所述主摄像头进行图像预览。

8.一种数据处理装置，其特征在于，运行于移动终端，所述移动终端包括多个摄像头，所述装置包括：

倍率获取单元，用于在进行平滑变焦操作的过程中，获取当前帧图像数据对应的倍率，所述当前帧图像数据为在进行所述平滑变焦操作的过程中，所述移动终端实时显示的图像数据；

方式获取单元，用于获取所述倍率对应的数据处理方式；

处理单元，用于基于所述数据处理方式，对多路图像数据流进行处理，所述多路图像数据流为所述多个摄像头输出的图像数据流。

9.一种移动终端，其特征在于，包括一个或多个处理器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行权利要求1-7任一所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行权利要求1-7任一所述的方法。

Images