CN116347217A - 图像处理方法、设备及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理方法、设备及存储介质。该方法通过按照需求，以特定的采样频率，将第一图像流(包括的第一图像的尺寸较大)降采样处理为第二图像流(与第一图像对应的第二图像尺寸较小)，由于降采样处理获得的第二图像流中第二图像的尺寸要小于第一图像流中对应的第一图像的尺寸，并且采样频率也相对较低，因此在基于第一图像流对应的拍摄模式对应的检测算法，对采样频率低、图像尺寸较小的第二图像进行检测处理时，能够有效减少图像识别过程中的计算负担，从而降低图像处理所需时长和功耗。

Description

图像处理方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、设备及存储介质。

背景技术

当前，诸如手机等终端设备的拍摄功能越来越完善，用户对拍摄的体验要求也越来越高。为了能够实现自动对拍摄参数的调整和图像的优化，在使用终端设备进行拍摄时，会对场景和对象进行识别，进而根据当前的拍摄模式对该场景、对象进行处理。

但是，在该过程中，是直接对摄像头采集到的原始图像流中每一帧的图像进行检测处理，并且随着终端设备支持的像素的提高，原始图像流中的图像尺寸较大，因此在该过程中进行的图像处理耗时较长。

此外，由于该过程中进行的图像处理耗时较长，因此对手机等终端设备的资源占用、功耗也较大。

发明内容

为了解决上述技术问题，本申请提供一种图像处理方法、设备及存储介质，旨在降低识别检测过程中，图像处理所花费的时间和功耗。

第一方面，本申请提供一种图像处理方法。该方法包括：获取第一图像流，第一图像流中包括第一尺寸的第一图像；确定降采样处理对应的采样频率；根据采样频率，对第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像，第二尺寸小于第一尺寸；根据第一图像在第一图像流中的顺序，将与第一图像对应的第二图像按序组装生成第二图像流；基于第一图像流对应的拍摄模式对应的检测算法，对第二图像流中的第二图像进行处理，得到第二图像中包括的特征点信息；根据第二图像中包括的特征点信息，对拍摄模式对应的拍摄参数进行调节，将第一图像流中的第一图像优化为第三图像。

其中，第一图像流例如为下文经图像处理模块中的图像前端处理模块和图像引擎处理模块处理后的图像流，即原始图像流。

其中，第二图像流例如为下文经Tiny流参数构建模块、Tiny流控制生成模块、降采样模块、Tiny流生成模块处理得到，具体到处理流程详见下文，此处不再赘述。

由此，通过确定降采样处理对应的采样频率，并根据确定的采样频率，将第一图像流(包括的第一图像的尺寸较大)降采样处理为第二图像流(与第一图像对应的第二图像尺寸较小)，由于降采样处理获得的第二图像流中第二图像的尺寸要小于第一图像流中对应的第一图像的尺寸，并且确定的采样频率通常也较低，因此在基于第一图像流对应的拍摄模式对应的检测算法，对采样频率低、图片尺寸较小的第二图像进行检测处理时，能够有效减少图像识别过程中的计算负担，从而降低图像处理所需时长和功耗。

根据第一方面，在对第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像之前，方法还包括：响应于接收到的用户操作，确定当前选中的拍摄模式；获取拍摄模式对应的检测算法；根据拍摄模式和检测算法，确定第一参数和第二参数，第一参数用于指示是否要对第一图像流中的第一图像进行降采样处理，第二参数用于指示对第一图像流中的第一图像进行降采样处理得到的第二图像的尺寸信息为第二尺寸，以及第二图像要包括的效果参数。

示例性的，效果参数，例如下文所说的白平衡参数、自动曝光参数等。

由此，针对不同拍摄模式和检测算法，合理配置第一参数和第二参数，从而能够动态控制降采样处理的开启或关闭，以及在开启降采样处理时，对降采样处理得到的第二图像的定制化要求，如具体的尺寸信息(分辨率)、效果参数要求等，从而实现精细化的控制，更好的兼顾实际拍摄需求。

根据第一方面，或者以上第一方面的任意一种实现方式，在第一参数指示要对第一图像流中的第一图像进行降采样处理时，对第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像，包括：根据第二参数指示的尺寸信息和效果参数，对第一图像流中的第一图像进行降采样处理，得到包括效果参数，且尺寸信息为第二尺寸的第二图像。

根据第一方面，或者以上第一方面的任意一种实现方式，确定降采样处理对应的采样频率，包括：根据拍摄模式和检测算法，确定所述采样频率。

由此，针对不同的拍摄模式和检测算法，确定不同的采样频率，从而能够根据拍摄模式和检测算法，按照合适的采样频率，触发执行降采样处理，在缩短图像处理的耗时，以及降低功耗的情况下，能够更好的兼顾实际拍摄需求，保证最终基于降采样处理获得的第二图像进行检测处理，然后优化得到的第三图像的质量和效果。

根据第一方面，或者以上第一方面的任意一种实现方式，在第一参数指示不要对第一图像流中的第一图像进行降采样处理时，方法还包括：显示第一图像流中的第一图像。

由此，在不需要进行降采样处理时，直接将获取到的第一图像流中的第一图像进行送显，保证了显示速度。

根据第一方面，或者以上第一方面的任意一种实现方式，在根据第一图像在第一图像流中的顺序，将与第一图像对应的第二图像按序组装生成第二图像流之后，方法还包括：基于第一图像流对应的拍摄模式对应的检测算法，对第二图像流进行分流处理，得到每一检测算法对应的第二图像流；基于第一图像流对应的拍摄模式对应的检测算法，对第二图像流中的第二图像进行处理，得到第二图像中包括的特征点信息，包括：基于第一图像流对应的拍摄模式对应的检测算法，从检测算法对应的分流后的第二图像流中获取第二图像进行处理，得到第二图像中包括的特征点信息。

由此，通过根据不同的检测算法对第二图像流进行分流，并将分流后的第二图像流送往对应的检测算法进行检测处理，不同于既有方案中将处理结果统一送至所有的检测算法进行处理，该方式能够实现按需获取、处理，从而有效避免了资源的浪费，降低了功耗，同时又能够缩短图像处理的整体耗时。

根据第一方面，或者以上第一方面的任意一种实现方式，在对第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像之后，方法还包括：存储第二图像。

由此，在终端设备处于开发阶段、测试阶段、生产阶段等时，通过存储的第二图像，能够便于技术人员对该功能的日常开发、测试和生产使用。

根据第一方面，或者以上第一方面的任意一种实现方式，获取第一图像流，包括：响应于接收到的用户操作，确定当前选中的拍摄模式；在拍摄模式下，生成图像获取请求；基于图像获取请求，持续采集第一图像流。

根据第一方面，或者以上第一方面的任意一种实现方式，在将第一图像流中的第一图像优化为第三图像之后，方法还包括：显示第三图像。

由此，可以便于用户查看使用具有相机功能的应用拍摄的优化处理后，满足用户需求，以及当前场景的图像。

根据第一方面，或者以上第一方面的任意一种实现方式，第一图像流为预览流。

相应地，显示在终端设备的显示界面中的第三图像，例如为预览图像。

由此，基于本申请提供的图像处理方法，能够根据拍摄模式和拍摄模式对应的检测算法，以预览流为基础，进行降采样处理，从而在不同拍摄模式对应的预览界面中，用户能够查看到进行图像处理后的优化图像，以便用户在合适的时间触发拍摄。

根据第一方面，或者以上第一方面的任意一种实现方式，检测算法包括物体检测算法、人脸检测算法、笑脸检测算法、场景检测算法中的任意一种或几种。

可理解的，此处仅为举例说明，在实际应用中检测算法包括但不限于上述几种，具体可以根据实际集成的拍摄模式对应的检测算法确定，此处不作限制。

第二方面，本申请提供了一种终端设备。该终端设备包括：存储器和处理器，存储器和处理器耦合；存储器存储有程序指令，程序指令由处理器执行时，使得所述终端设备执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请提供了一种计算机可读介质，用于存储计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请提供了一种计算机程序，该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请提供了一种芯片，该芯片包括处理电路、收发管脚。其中，该收发管脚、和该处理电路通过内部连接通路互相通信，该处理电路执行第一方面或第一方面的任一种可能的实现方式中的方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

附图说明

图1为示例性示出的触发图像处理的场景对应的一种用户界面图；

图2为示例性示出的触发图像处理的场景对应的又一种用户界面图；

图3为示例性示出的触发图像处理的场景对应的又一种用户界面图；

图4为示例性示出的终端设备的硬件结构示意图；

图5为示例性示出的终端设备的软件结构示意图；

图6为示例性示出的图像处理方法的流程示意图；

图7为示例性示出的实现图像处理方法时涉及的功能模块的交互示意图；

图8为示例性示出的根据不同检测算法对Tiny流进行分流的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

拍摄场景是手机等具备摄像头的终端设备常见的应用场景之一。随着用户对手机拍摄的体验要求越来越高，手机的拍摄模式也越来越丰富，从而能够更好的满足用户的不用拍摄需求。下述以手机为例，结合图1至图3对拍摄场景，以及拍摄场景涉及的问题进行说明。

参见图1，示例性的示出一个手机的界面10a。本实施例以界面10a为手机的桌面为例，示例性的界面10a上可以显示一个或多个应用程序的图标，如时钟应用的图标、日历应用的图标、图库应用的图标、备忘录应用的图标、文件管理应用的图标、电子邮件应用的图标、音乐应用的图标、计算器应用的图标、视频应用的图标、录音机应用的图标、天气应用的图标、浏览器应用的图标、设置应用的图标、通讯录应用的图标、电话应用的图标、信息应用的图标、相机应用的图标(控件)10a-1等。其中，当用户点击界面10a中的控件10a-1时，即可使用相机应用实现拍摄功能。

继续参见图1，示例性的，当用户点击界面10a中的控件10a-1时，手机响应于该操作行为，识别出用户点击操作对应的控件为相机应用的控件10a-1，进而调用应用框架层中相应的接口启动相机应用，并通过调用内核层的摄像头驱动来驱动摄像头获取(采集)图像。此时，手机会从界面10a切换到图2所示的界面10b。

参见图2，示例性的，界面10b中可以包括一个或多个控件，如用于显示图像的控件10b-1、用于触发拍摄的控件10b-2、用于切换前后摄像头的控件10b-3，用于选中拍摄模式的控件10b-4。

继续参见图2，示例性的，控件10b-4中可以提供一种或多组拍摄模式，如光圈模式、夜景模式、人像模式、拍照模式、录像模式、笑脸模式等。

示例性的，如果还有其他的拍摄模式，在控件10b-4的可视区域内无法显示全部拍摄模式时，可以提供一个“更多”选项，当用户操作该选项时，手机响应于该操作行为，可以在控件10b-4上弹出一个选择列表，以供用户滑动选择其他拍摄模式。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。在实际应用中，其用户界面形式可以根据需要进行设置，此处不作限制。

需要说明的是，在相机应用启动后，在短暂的时间内，用于显示图像的区域10b-1中没有显示摄像头采集到的图像。当相机应用接收到摄像头采集的图像后，在区域10b-1中才会显示图像，如图3中的图像10b-5。正常情况下，该过程会在极短的时间内完成，因此对于用户是无感知的，即当用户在图1所示的界面10a中点击控件10a-1后，手机响应于该操作行为，启动相机应用后，用户看到的可以直接是图3所示的界面10b。

随着手机的拍照功能的完善，相机应用支持的拍摄模式也越来越多。例如图2或图3中示出的光圈模式、夜景模式、人像模式、拍照模式、录像模式、笑脸模式等。为了达到更好的拍摄效果，目前在拍摄过程中，引入了场景和拍摄对象的自主识别，以实现场景检测、人脸检测、物体检测、笑脸检测等，从而能够根据检测结果，自动对当前拍摄模式所需的拍摄参数进行调节，从而达到优化该拍摄场景下拍摄的图像的效果，帮助用户获得更佳的拍摄体验。

例如，在笑脸模式下，通过人脸检测和笑脸检测，在识别到笑脸时自动触发控件10b-2进行拍照。

还例如，在夜景模式下，通过场景检测，能够对识别出的对象进行色彩调优等。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

但是，在一些实现方式中，在拍摄过程中进行的场景和拍摄对象的识别，是直接对摄像头采集到的原始图像流中每一帧的图像进行检测处理，并且随着终端设备支持的像素的提高，原始图像流中的图像尺寸较大，因此在该过程中进行的图像处理耗时较长，这就会导致用户点击界面10a中的控件10a-1后，启动相机应用进入界面10b时，或者在界面10b切换拍摄模式时，控件10b-1内延迟出现图像10b-5，即可能出现画面卡顿的情况，影响用户体验。

此外，由于该过程中进行的图像处理耗时较长，因此对手机等终端设备的资源占用、功耗也较大。

有鉴于此，本申请提供了一种图像处理方法，旨在降低在拍摄过程中进行的场景和拍摄对象的识别过程中，图像处理所花费的时间和功耗。

示例性的，在该方法中，通过按照需求，以特定的采样频率，将原始图像流(第一图像流)降采样处理为小尺寸的图像流(后续称为Tiny流，或第二图像流)，由于降采样处理获得的Tiny流中的图像尺寸要小于原始图像流中图像的尺寸，并且降采样处理对应的采样频率也相对较低，因此在基于当前的拍摄模式对应的检测算法，对采样频率低、图像尺寸较小的Tiny流中的图像进行检测处理时，能够有效减少图像识别过程中的计算负担，从而降低图像处理所需时长和功耗。

可理解的，在本申请提供的图像处理方法中，Tiny流是指其中的图像(图片)尺寸较小，且仅保留图像处理过程中所必要的有效信息，即Tiny流中图像的整体计算负担要小于原始图像流中的图像。

此外，在本申请提供的图像处理方法中，Tiny流中图像的采样频率也要小于既有方案中未进行降采样处理的图像对应的采样频率，例如在既有方案中，检测算法处理的图像的采样频率可能为每秒30张，即30帧/s时，而本申请中，经降采样处理获得的Tiny流中图像对应的采样频率则可以是5帧/s、10帧/s等。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

此外，可理解的，关于降采样处理的对应的采样频率，可以根据当前选中的拍摄模式和该拍摄模式对应的检测算法综合确定，本实施例对此不作限制。

为了更好的理解本申请提供的技术方案，在对本申请的技术方案说明之前，首先结合附图对本申请适用于的具有拍摄功能的终端设备(例如手机、平板电脑、可触控PC机等)的硬件结构进行说明。

参见图4，终端设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

示例性的，在一些实现方式中，传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等，此处不再一一例举，本申请对此不作限制。

此外，需要说明的是，处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

可理解的，控制器可以是终端设备100的神经中枢和指挥中心。在实际应用中，控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

此外，还需要说明的是，处理器110中还可以设置存储器，用于存储指令和数据。在一些实现方式中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

示例性的，在一些实现方式中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identitymodule，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

继续参见图4，示例性的，充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实现方式中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实现方式中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。

继续参见图4，示例性的，电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实现方式中，电源管理模块141也可以设置于处理器110中。在另一些实现方式中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。

继续参见图4，示例性的，终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

需要说明的是，天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实现方式中，天线可以和调谐开关结合使用。

继续参见图4，示例性的，移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实现方式中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实现方式中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

此外，需要说明的是，调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实现方式中，调制解调处理器可以是独立的器件。在另一些实现方式中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。

继续参见图4，示例性的，无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellitesystem，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

此外，还需要说明的是，终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

继续参见图4，示例性的，显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实现方式中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。

此外，还需要说明的是，终端设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

此外，还需要说明的是，ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实现方式中，ISP可以设置在摄像头193中。

此外，还需要说明的是，摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实现方式中，终端设备100可以包括1个或N个摄像头193，N为大于1的正整数。

此外，还需要说明的是，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

此外，还需要说明的是，视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

继续参见图4，示例性的，外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

继续参见图4，示例性的，内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行终端设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flashstorage，UFS)等。

此外，还需要说明的是，终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

此外，还需要说明的是，音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实现方式中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

继续参见图4，示例性的，按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。

继续参见图4，示例性的，马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。

继续参见图4，示例性的，指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

关于终端设备100的硬件结构就介绍到此，应当理解的是，图4所示终端设备100仅是一个范例，在具体实现中，终端设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图4中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

为了更好的理解图4所示终端设备100的软件结构，以下对终端设备100的软件结构进行说明。在对终端设备100的软件结构进行说明之前，首先对终端设备100的软件系统可以采用的架构进行说明。

具体的，在实际应用中，终端设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。

此外，可理解的，目前主流的终端设备使用的软件系统包括但不限于Windows系统、Android系统和iOS系统。为了便于说明，本申请实施例以分层架构的Android系统为例，示例性说明终端设备100的软件结构。

此外，后续关于本申请实施例提供的图像处理方案，在具体实现中同样适用于其他系统。

参见图5，为本申请实施例的终端设备100的软件结构框图。

如图5所示，终端设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实现方式中，将Android系统分为五层，从上至下分别为应用程序层(Application，APP)，应用程序框架层(Application Framework，FWK)，安卓运行时(Android runtime)和系统库，硬件抽象层(Hardware AbstractionLayer，HAL)，以及内核层(kernel)。

其中，应用程序层可以包括一系列应用程序包。如图5所示，应用程序包可以包括相机、图库、日历、通话、地图、导航、WLAN、蓝牙、视频等应用程序，此处不再一一列举，本申请对此不作限制。

其中，应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。在一些实现方式中，这些编程接口和编程框架可以描述为函数。如图5所示，应用程序框架层可以包括窗口管理器、内容提供器、通知管理器、视图系统、资源管理器、摄像头服务等函数，此处不再一一列举，本申请对此不作限制。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。

摄像头服务用于响应于相机应用的请求，调用摄像头(包括前置摄像头和/或后置摄像头)，以使相机应用启动后，被调用的摄像头能够持续采集图像帧，并将采集到的图像帧以图像流的形式向上传输至硬件抽象层的图像处理模块。关于图像处理模块对原始图像流的处理详见下文针对图像处理模块的描述部分，此处不再赘述。

继续参见图5，示例性的，Android Runtime可包括核心库和虚拟机。AndroidRuntime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维(3D)图形处理库(例如：OpenGL ES)，二维(2D)图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

可理解的，上述所说的2D图形引擎是2D绘图的绘图引擎。

其中，硬件抽象层可包括各种硬件对应的HAL，例如音频模块对应的音频HAL，传感器模块对应的传感器HAL、显示屏对应的显示HAL等。具体到本实施例中，为降低在拍摄过程中进行的场景和拍摄对象的识别过程中，图像处理所花费的时间和功耗，如图5所示，硬件抽象层中还包括图像处理所需的拍摄模式识别模块、Tiny流参数构建模块、Tiny流控制生成模块、感知引擎、采样频率控制模块、动态开关控制模块、降采样模块、Tiny流生成模块、Tiny流分流模块、Tiny流数据存储模块、图像处理模块等。

示例性的，在本实施例中，拍摄模式识别模块用于在用户启动相机应用，或者其他具备拍摄功能的应用时，或者在拍摄功能对应的拍摄界面中进行拍摄模式切换时，根据应用程序层中相机应用下发的当前拍摄模式对应的标识符，确定当前选中的拍摄模式。

可理解的，在实际应用中，会预先为每一拍摄模式分配对应的标识符，即根据标识符能够确定拍摄模式。因此，当相机应用被启动处于不同的拍摄模式时，应用程序层会将当前所处的拍摄模式对应的标识符下发给拍摄模式识别模块。这样，拍摄模式识别模块就可以根据接收到的标识符快速、准确的确定当前被选中的拍摄模式。

示例性的，在本实施例中，感知引擎用于根据拍摄模式识别模块识别出的拍摄模式，确定该拍摄模式对应的检测算法，如笑脸拍摄模式，至少包括人脸检测算法和笑脸检测算法等。

示例性的，在本实施例中，Tiny流参数构建模块用于根据拍摄模式识别模块识别出的拍摄模式，以及感知引擎确定的检测算法，构建图像处理过程中，具有差异化的控制参数和配置参数。

示例性的，在本实施例中，图像处理模块可以包括图像前端处理模块和图像处理引擎模块。其中，图像前端处理模块用于对接收到的原始图像流中的图像进行颜色校正、去马赛克等处理；图像处理引擎模块用于对图像前端处理模块处理后的原始图像流中的图像进行降噪处理等。

示例性的，在本实施例中，Tiny流控制生成模块可根据Tiny流参数构建模块构建出的控制参数，通过动态开关控制模块，动态控制降采样处理的进行，即是否对图像处理引擎模块处理后的原始图像流中的图像进行降采样处理，以生成Tiny流。

示例性的，在本实施例中，Tiny流参数构建模块还可以根据拍摄模式识别模块识别出的拍摄模式，以及感知引擎确定的检测算法，构建图像处理过程中，执行降采样处理的采样频率。

相应地，Tiny流控制生成模块还可根据Tiny流参数构建模块构建出的采样频率，通过采样频率控制模块，实现对采样频率的控制，如每几帧进行一次降采样。

示例性的，在本实施例中，Tiny流控制生成模块可将Tiny流参数构建模块构建出的配置参数注入降采样模块，这样降采样模块在得到采样频率控制模块根据确定的采样频率输入的图像后，并可以根据该配置参数对齐进行降采样处理，如根据配置参数将输入的图像从第一尺寸降为第二尺寸(第二尺寸小于第一尺寸)，剔除不必要的信息，仅保留配置参数要求的白平衡参数、自动曝光参数等。

示例性的，在本实施例中，Tiny流生成模块用于将降采样模块处理获得的小尺寸图像按照原始图像流中对应的图像顺序进行组装，便可以得到Tiny流。

示例性的，在本实施例中，Tiny流分流模块用于根据不同的检测算法，将Tiny流进行分流，进而将分流后的Tiny流发往对应的检测算法进行检测处理。

示例性的，在本实施例中，Tiny流数据存储模块用于将降采样模块处理获得的小尺寸图像进行存储管理，以便技术人员能够基于存储的小尺寸图像，对本申请提供的图像处理功能进行开发、测试时使用。

需要说明的是，Tiny流数据存储模块的使用，可以是在开发阶段和测试阶段，由技术人员通过程序控制开启的。对于投入市场的终端设备，该功能默认关闭，从而避免自动存储降采样模块处理获得的小尺寸图像，对终端设备的内存造成不必要的占用。

此外，还需要说明的是，关于上述动态开关控制模块，在实际应用也可以选择性的设置，即是否开启降采样处理，可以根据采样频率来确定，如在采样频率为0时，不对图像处理引擎模块处理后的原始图像流中的图像进行采样，因此也不会有图像进行降采样处理。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

此外，还需要说明的是，上述实现图像处理所需的各功能模块的划分，仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。在实际应用中，上述功能也可以集成在一个功能模块中实现，本实施例对此不作限制。

此外，上述各个功能模块的命名也仅是为了便于区分所要实现的功能，不作为对本实施例的唯一限制。

继续参见图5，示例性的，Android系统中的内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动等。示例性的，摄像头驱动可用于将摄像头持续上报的原始图像流传输给HAL层中的图像处理模块进行处理。

关于终端设备100的软件结构就介绍到此，可以理解的是，图5示出的软件结构中的层以及各层中包含的部件，并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

下述以手机为例，对本申请技术方案进行详细解释说明。

参见图6，示例性示出本申请实施例提供的一种图像处理方法的流程，具体包括：

S101，获取第一图像流，第一图像流中包括第一尺寸的第一图像。

示例性的，本实施例中所说的第一图像流，即为上述所说的由摄像头根据应用程序层的相机应用，或者具备拍摄功能的应用生成，并持续下发的图像获取请求采集到的原始图像流。

相应地，第一图像流中包括的第一尺寸的第一图像，即为上文所说的未进行降采样处理的原始图像流中的尺寸较大的图像。

可理解的，关于上述基于图像获取请求，获取第一图像流，在一些实现方式中，例如可以是在接收到用户操作时，响应于接收到的用户操作，如用户切换拍摄模式的用户操作，进而确定当前选中的拍摄模式。

需要说明的是，在具备相机功能的应用启动后，可以将拍照模式作为默认被选中的拍摄模式。当用户在上述图2或图3所示的界面10b中，进行拍摄模式切换时，便会响应于进行拍摄模式切换的用户操作。

示例性的，关于拍摄模式的确定，具体可以根据应用程序层下发的用于标识拍摄模式的标识符确定。可理解的，在一些实现方式中，拍摄模式对应标识符可以携带在配流信息中。

此外，拍摄模式对应的配流信息，还可以包括指示拍摄模式对应的拍摄参数等的信息。

相应地，在确定拍摄模式后，便可以在该拍摄拍摄下，生成图像获取请求，通过摄像头服务，经摄像头驱动等功能模块，将图像获取请求下发给摄像头，进而使得摄像头能够基于持续下发的图像获取请求，持续采集，并上报第一图像流。

此外，需要说明的是，根据用户在提供相机功能的界面，如上述图2或图3中所示界面10b中的操作，即预览界面下，通过拍摄通路传输的第一图像流具体为预览流。

示例性的，当用户点击图1中界面10a中控件10a-1，启动相机应用后，当用户处于当前选中的拍摄模式，但未点击控件10b-2，即处于预览状态，没有触发拍摄时，当前拍摄通路传输的第一图像流具体为预览流。

也就是说，不论在哪种拍摄模式，只要当前处于预览状态，即没有触发控件10b-2进行拍摄时，拍摄通路传输的第一图像流均为预览流。

示例性的，在预览界面中，用户可以查看经本实施例提供的图像处理方法，优化处理的图像，进而在确定当前优化的图像满足其拍摄需求时，在触发控件10b-2后，便可以根据优化的图像对应的拍摄参数进行拍摄，从而保证最终拍摄的图像、视频等为满足用户拍摄需求的。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

S102，确定降采样处理对应的采样频率。

需要说明的是，考虑到不同的拍摄模式和检测算法，对采样要求的不同，例如有些5场景下需要每秒5帧，有些则需要每秒10帧等，故而在本实施例提供的图像处理方法中，

可以根据拍摄模式和检测算法，确定用于指示执行降采样处理的采样频率。

可理解的，在本实施例中，所述采样频率是用来指示每秒采集多少帧的图像作为降采样处理的输入源的。

S103，根据采样频率，对第一图像流中的第一图像进行降采样处理，得到第二尺寸0的第二图像，第二尺寸小于第一尺寸。

考虑到实际应用中，可能存在一些场景不需要对原始图像流中的图像进行降采样处理，如不需要对人脸进行美颜、色彩调优等，直接显示原始图像流中的图像即可，为了更好的满足用户的实际拍摄需求，同时能够在需要进行降采样处理时，对原始图像流中

的图像进行降采样处理，以降低图像处理所需的时长和功耗。可以先判断当前拍摄模式5是否需要启动降采样处理操作。

示例性的，在一些实现方式中，关于确定是否启动降采样处理操作的判断，可以根据Tiny流参数构建模块构建的控制参数确定。

示例性的，控制参数具体可以基于拍摄模式和拍摄模式对应的检测算法确定。对于

这种实现方式，在接收到用户操作时，响应于接收到的用户操作，如用户切换拍摄模式0的用户操作，进而确定当前选中的拍摄模式。关于确定当前选中的拍摄模式的实现细节，

可以参见上文，此处不再赘述。

示例性的，在开启降采样处理操作后，何时结束降采样处理，可以通过检测降采样处理得到的第二图像流(Tiny流)中第二图片所携带的图像信息是否可以满足后续检测

算法对要处理的图像的要求，若满足，则可关闭降采样开关，否则打开继续开启降采样5开关，生成Tiny流，由此实现了对Tiny流的按需使用。

示例性的，由于不同的拍摄模式下，拍摄通路传输的第一图像流的具体类型会有所不同，而不同的拍摄模式，以及不同类型的第一图像流，在进行图像处理时，对应的检测算法也会有所差异。故而，在确定拍摄模式后，可以根据预先存储的拍摄模式与检测

算法之间的关系，获取该拍摄模式对应的检测算法。进而根据确定的拍摄模式和检测算0法，确定用于指示是否要对第一图像流中的第一图像进行降采样处理的第一参数(上文

所说的由Tiny流参数构建模块构建的控制参数)，以及用于指示对第一图像流中的第一图像进行降采样处理得到的第二图像的尺寸信息(以第二尺寸为例)、第二图像要包括的效果参数，如白平衡参数、自动曝光参数等的第二参数(上文所说的由Tiny流参数构建模块构建的配置参数)。

5相应地，在第一参数指示要对第一图像流中的第一图像进行降采样处理时，则执行

上述步骤S103。

示例性的，在执行上述步骤S103时，其降采样处理，具体为根据第二参数指示的尺寸信息和效果参数，对第一图像流中的第一图像进行降采样处理，进而得到包括效果参数，且尺寸信息为上述所说的第二尺寸的第二图像。

可理解的，由于第二尺寸要小于第一尺寸，因此降采样处理后得到的第二图像即为上述所说的小尺寸图像。

示例性的，在确定采样频率后，便可以根据采样频率，按照上述降采样的处理方式，对第一图像流中的第一图像进行降采样处理，以获得尺寸信息为第二尺寸，且包括要求的效果参数的第二图像。

此外，还需要说明的是，若通过上述方式确定的第一参数指示不要对第一图像流中的第一图像进行降采样处理，则可以跳过步骤S103至步骤S106，直接将第一图像流中的第一图像进行送显，即不基于检测算法，对第一图像流中的第一图像进行处理，直接将第一图像显示当前的预览界面，如在图3所示的控件10b-1中。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

示例性的，在一些实现方式中，检测算法例如可以是物体检测算法、人脸检测算法、笑脸检测算法、场景检测算法中的任意一种或几种，即对于不同的拍摄模式和不同类型的第一图像流，对应的检测算法可以是上述罗列的任意一种或几种。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。在实际应用中，还可以随着新增的拍摄模式类型，支持更多类型的检测算法，本实施例对此不作限制。

此外，还需要说明的是，在一些实现方式中，例如对于开发阶段和测试阶段，还可以通过程序，如宏开关由技术人员控制开启存储上述第二图像的功能。这样，通过存储的第二图像，能够便于技术人员对该功能的日常开发、测试使用。

相应地，在终端设备投入市场，供用户正常使用的阶段，该功能可以关闭，从而能够避免不断存储第二图像，对终端设备的内存造成不必要的占用。

S104，根据第一图像在第一图像流中的顺序，将与第一图像对应的第二图像按序组装生成第二图像流。

由于降采样处理是以一张一张的图像为单位进行处理的，而后续在拍摄通路中流转至检测算法对应的算法模块时，是以图像流的形式，故而需要根据每一张第一图像在第一图像流中的顺序，将与第一图像对应的第二图像按序组装，以获得第二图像流，即上述所说的Tiny流。

S105，基于第一图像流对应的拍摄模式对应的检测算法，对第二图像流中的第二图像进行处理，得到第二图像中包括的特征点信息。

例如，对于拍摄模式为笑脸模式的情况，假设检测算法需要包括人脸检测算法和笑脸检测算法，则需要先将第二图像流中的第二图像流转至人脸检测算法的模块，识别出该第二图像中包括的人脸，然后再将包括人脸的第二图像流转至笑脸检测算法的模块，由笑脸检测算法检测是否包括笑脸，进而在包含笑脸时自动触发控件10b-2，执行拍照。

此外，考虑到不同的检测算法要求检测的图像对应的采样频率可能不同，如一些可能是每10帧，一些可能是每5帧，一些则需要对每一帧都进行检测，故而可以根据检测算法对第二图像流进行分流处理，进而得到根据每一检测算法对应的采样频率，输出的第二图像流。

相应地，在对第二图像流进行分流后，上述步骤S105的操作，例如可以是基于第一图像流对应的拍摄模式对应的检测算法，从检测算法对应的分流后的第二图像流中获取第二图像进行处理，得到第二图像中包括的特征点信息。

由此，通过根据不同的检测算法对第二图像流进行分流，并将分流后的第二图像流送往对应的检测算法进行检测处理，不同于既有方案中将处理结果统一送至所有的检测算法进行处理，该方式能够实现按需获取、处理，从而有效避免了资源的浪费，降低了功耗，同时又能够缩短图像处理的整体耗时。

S106，根据第二图像中包括的特征点信息，对拍摄模式对应的拍摄参数进行调节，将第一图像流中的第一图像优化为第三图像。

可理解的，由于第二图像中包括的特征点信息是由检测算法对第二图像进行检测得到的，而第二图像是由第一图像进行降采样处理后得到的，尺寸小于第一图像，但包括该检测算法所必须的有效参数的图像，因此根据第二图像中包括的特征点信息，对拍摄模式对的拍摄参数进行调节，同样可以达到基于第一图像流中的第一图像进行人脸检测的结果进行调节的效果，其优化得到的第三图像同样能够满足用户当前的拍摄需求。

此外，可理解的，本实施例中所说的第二图像中包括的特征点信息，例如可以用于标识人脸区域的坐标信息，或者背景中需要进行色彩调优的天空、物体等。

此外，可理解的，在将第一图像流中的第一图像优化为第三图像后，便可以在当前的显示界面，如图3中的控件10b-1中显示第三图像，如图3中的图像10b-5。这样，可以便于用户查看使用具有相机功能的应用拍摄的优化处理后，满足用户需求，以及当前场景的图像，即第三图像。

此外，本实施例提供的图像处理方法，通过按照需求，以特定的采样频率，将第一图像流(包括的第一图像的尺寸较大)降采样处理为第二图像流(与第一图像对应的第二图像尺寸较小)，由于降采样处理获得的第二图像流中第二图像的尺寸要小于第一图像流中对应的第一图像的尺寸，并且采样频率也相对较小(或者说较低)，因此在基于第一图像流对应的拍摄模式对应的检测算法，对采样频率低、图片尺寸较小的第二图像进行检测处理时，能够有效减少图像识别过程中的计算负担，从而降低图像处理所需时长和功耗。

基于上述硬件结构和软件结构，在实现上述实施例所描述的图像处理方法时，涉及的硬件和软件结构中的功能模块的交互如图7所示。

参见图7，依旧以具备拍摄功能的应用为手机中安装的相机应用为例，在实现本申请实施例提供的图像处理方法时，各硬件、功能模块的交互流程，具体包括：

S201，相机应用接收到用户对相机应用作出的启动操作或在相机应用使用的过程中，接收到用户作出的切换拍摄模式的切换操作时，触发拍摄模式识别模块确定当前的拍摄场景。

S202，拍摄模式识别模块从应用程序层的相机应用处获取对应的配流信息。

可理解的，通过上述描述可知，在一些实现方式中，标识拍摄模式的标识符可以携带在配流信息中，故而拍摄模式识别模块获取到配流信息后，通过配流信息中携带的标识拍摄模式的标识符，便可以确定当前的拍摄模式。

示例性的，拍摄模式识别模块在确定当前的拍摄模块后，会将确定的拍摄模式信息发送给感知引擎和Tiny流参数构建模块。

S203，感知引擎根据拍摄模式识别模块提供的拍摄模式信息，获取该拍摄模式下拍摄通路对应的检测算法，加载确定的检测算法，并将确定的检测算法告知Tiny流参数构建模块。

S204，Tiny流参数构建模块根据拍摄模式识别模块提供的拍摄模式信息，以及感知引擎告知的本次图像处理需要使用的检测算法，确定在当前拍摄模式下，在图像处理过程中，是否需要先对原始图像流中的图像进行降采样处理。

示例性的，关于Tiny流参数构建模块进行的处理，实质是构建两种参数，如控制参数(上文所说的第一参数)和配置参数(上文所说的第二参数)。

其中，控制参数用于指示是否需要开启降采样处理功能，配置参数用于指示经降采样处理操作后得到的图像所需满足的参数，如尺寸大小、效果等。

相应地，Tiny流参数构建模块构建好上述所说的控制参数和配置参数后，会将构建好的控制参数和配置参数发送给Tiny流控制生成模块。

此外，通过上述描述可知，在相机应用启动作业后，相机应用会生成图像获取请求，并通过摄像头服务持续下发给摄像头，以使摄像头能够根据持续下发的图像获取请求，获取第一图像，进而通过拍摄通路持续向上传输包括第一尺寸的第一图像的第一图像流。故而，在执行上述步骤S202至步骤S204的过程中，会同步进行下述步骤S205至步骤S207。

S205，摄像头根据图像获取请求持续采集第一图像，并将采集第一图像按序组装成为第一图像流，即原始图像流，通过拍摄通路持续传输至图像处理模块中的图像处理前端模块。

S206，图像前端处理模块对摄像头采集到的第一图像流中的每一帧对应的第一图像进行颜色校正、去马赛克等处理，并将处理后的第一图像流转至图像处理模块中的图像处理引擎模块。

S207，图像处理引擎模块对图像前端处理模块处理后的第一图像进行降噪等处理，得到可供进行降采样处理的第一图像。

S208，Tiny流控制生成模块根据Tiny流参数构建模块构建的控制参数，控制动态开关控制模块的开启或关闭。

示例性的，在动态开关控制模块处于开启状态，如标志位置为“ON”时，表明当前需要对第一图像流中的第一图像，即步骤S207中经图像处理引擎处理输出的第一图像进行降采样处理。

相应地，在动态开关控制模块处于关闭状态，如标志位置为“OFF”时，表明当前不需要对图像处理引擎处理输出的第一图像进行降采样处理。对于这种情况，经图像处理引擎处理输出的包括第一图像的第一图像流可以直接上报至相机应用，进而在相机应用当前对应的显示界面中进行显示。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

由此，通过根据控制参数来控制动态开关控制模块的开启和关闭，实现了对Tiny流的按需使用，即在需要使用Tiny流时才开启动态开关控制模块，进而触发对第一图像流中第一图像的降采样处理，以获得满足要求的第二图像流，即Tiny流。反之，在不需要使用Tiny流时，则关闭动态开关控制模块，这样就不会执行图7中的步骤S209至S219。

进一步地，在需要使用Tiny流时，还可以通过采样频率控制模块实现对采样频率的控制，即执行步骤S209。

S209，采样频率控制模块，根据当前拍摄模式和检测算法确定的采样频率，对经图像处理引擎模块处理后流转出的第一图像流中的第一图像进行采样。

例如，在确定的采样频率为每5帧进行一次采样操作，则可以每5帧进一次采样，从而达到对Tiny流资源的动态控制，实现对后续需要检测算法进行检测的Tiny流的优化配置。

S210，Tiny流控制生成模块若检测到动态开关控制模块处于开启状态，即当前需要使用Tiny流，则将Tiny流参数构建模块构建的配置参数注入降采样模块，触发降采样模块对第一图像流中的第一图像进行降采样处理。

S211，降采样模块根据Tiny流控制生成模块诸如的配置参数，将经图像处理引擎处理模块处理后输出的第一图像流中第一尺寸的第一图像处理为第二尺寸，并保留第一图像中上述配置参数指定的参数，如白平衡参数、自动曝光参数，以及分辨率参数等的第二图像。

可理解的，由于第二尺寸要小于第一尺寸，且第二图像中仅保留流图像处理所需的必要参数信息，因此后续检测算法对第二图像进行处理时，能够大大降低计算量，从而缩短图像处理时间，即降低图像处理的耗时。

S212，Tiny流生成模块将降采样模块处理获得的第二图像依次按照其对应的第一图像在第一图像流中的位置信息进行组装，进而得到Tiny流，即Tiny流中包括的图像均为经降采样处理后的得到的第二尺寸的第二图像。

S213，Tiny流分流模块根据当前的拍摄模式对应的检测算法，将经Tiny流生成模块生成的Tiny流进行分流处理，最终就可以将分流后的Tiny流送往对应的检测算法的模块使用。

参见图7，示例性的，以当前的拍摄模式对应的检测算法包括检测算法1至检测算法n(n为大于等于1的整数)为例，则可以将Tiny流生成模块生成的Tiny流分流为Tiny流1至Tiny流n。

示例性的，以相同脚标的Tiny流对应相同脚标的算法为例，则Tiny流1会被Tiny流分流模块送往(检测)算法1的模块使用，即步骤S214。

相应地，其他的Tiny流也将被送往对应算法的模块使用，如步骤S216和步骤S218。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

S215，算法1的模块根据Tiny流分流模块送来的Tiny流1中的第二图像进行检测处理，获取第二图像中携带的特征点信息，进而根据从第二图像中获得的特征点信息，对经图像处理引擎模块处理后的第一图像流中，与该第二图像对应的第一图像进行优化处理，并将优化处理后的第一图像流流转至后续的检测算法的模块，如步骤S217对应的检测算法的模块中。

可理解的，在实际应用中，如果当前选中的拍摄模式对应的检测算法之间不存在关联，即某一检测算法的模块不需要依赖其他检测算法的模块处理后的第一图像流进行检测处理，则可以将经每一检测算法的模块优化处理后的第一图像流中的图像(相当于后续所说的第三图像)直接上报至相机应用进行显示。

示例性的，如果当前选中的拍摄模式对应的检测算法之间存在关联，如某一检测算法的模块需要依赖其他检测算法的模块处理后的第一图像流进行检测处理，则当前的检测算法对应的模块进行优化处理后的第一图像流需要流转至关联的检测算法的模块。本实施例以这种场景为例。

为了便于说明，以步骤S217对应的检测算法为算法(n-1)为例。

S217，算法(n-1)的模块根据Tiny流分流模块送来的Tiny流(n-1)中的第二图像进行检测处理，获取Tiny流(n-1)中的第二图像中携带的特征点信息，进而根据从Tiny流(n-1)中的第二图像中获得的特征点信息，对经算法(n-2)，即算法(n-1)前的模块优化处理后的第一图像流中的第一图像进行优化处理，并将优化处理后的第一图像流流转至后续的检测算法的模块，如步骤S219对应的算法n的模块中。

S219，算法n的模块根据Tiny流分流模块送来的Tiny流n中的第二图像进行检测处理，获取Tiny流n中的第二图像中携带的特征点信息，进而根据从Tiny流n中的第二图像中获得的特征点信息，对经算法(n-1)的模块优化处理后的第一图像流中的第一图像进行优化处理，并将优化处理后的第一图像流中图像(第三图像)上报至相机应用进行显示。

以相机应用支持的检测算法包括算法1(如场景检测算法)、算法2(如物体检测算法)、算法3(如人脸检测算法)、算法4(笑脸检测算法)为例，在降采样处理后输出的第二图像的要求包括尺寸信息(SIZE)、图像大小(K)、伽马值(gamma)等参数的情况下，上述4种检测算法对应的第二图像包括的参数例可以如下。

示例性的，对于场景检测算法，在其要求Tiny流分流模块每10帧输出一次Tiny流的情况下，可以在确定当前满足每10帧输出Tiny流的条件下时，由Tiny流分流模块向算法1的模块输出包括的第二图像满足SIZE＝1280×960，K＝2200K，gamma＝2.0等参数的Tiny流。

相应地，对于物体检测算法，在其要求Tiny流分流模块每5帧输出一次Tiny流的情况下，可以在确定当前满足每5帧输出Tiny流的条件下时，由Tiny流分流模块向算法2的模块输出包括的第二图像满足SIZE＝640×480，K＝2300K，gamma＝2.0等参数的Tiny流。

相应地，对于人脸检测算法，在其要求Tiny流分流模块每帧输出一次Tiny流的情况下，可以在确定当前满足每帧输出Tiny流的条件下时，由Tiny流分流模块向算法3的模块输出包括的第二图像满足SIZE＝320×240，K＝2500K，gamma＝2.2等参数的Tiny流。

相应地，对于笑脸检测算法，在其要求Tiny流分流模块每帧输出一次Tiny流的情况下，可以在确定当前满足每帧输出Tiny流的条件下时，由Tiny流分流模块向算法3的模块输出包括的第二图像满足SIZE＝1280×960，K＝2200K，gamma＝2.2等参数的Tiny流。

应当理解的是，上述说明仅是为了更好的理解本实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。

S220，Tiny流数据存储功能处于开启状态时，可以将Tiny流生成模块生成的Tiny流中的第二图像自动进行存储，以便技术人员能够基于存储的小尺寸图像，对本申请提供的图像处理功能进行开发、测试时使用。

也就是说，本实施例提供的图像处理方法，通过对既有图像流(原始图像流或上文所说的第一图像流)进行降采样处理形成Tiny流(上文所说的第二图像流)。由于Tiny流中第二图像的图像尺寸相对既有图像流中的第一图像的图像尺寸要小，并且第二图像中保留了图像识别过程中必要的有效参数，因此在基于Tiny流中的第二图像进行图像处理，如人脸检测、场景检测、物体检测、笑脸检测等操作时，能够大大减少计算量。

此外，针对不同拍摄模式以及不同的检测算法，对Tiny流的参数，如控制参数(上文所说的第一参数)、配置参数(上文所说的第二参数，可包括要降采样为的图像的尺寸信息、效果参数等)进行动态的配置，从而能够实现对Tiny流的差异化和定制化生成。

此外，根据拍摄需求，通过根据当前拍摄模式对应的检测算法，对降采样处理得到的Tiny流进行分流，并以每一检测算法对应的采样频率对分流后的Tiny流进行采样后送往对应的检测算法进行检测处理，从而达到了对Tiny流的精细化控制。

此外，可以理解的是，终端设备为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

此外，需要说明的是，在实际的应用场景中由终端设备实现的上述各实施例提供的图像处理方法，也可以由终端设备中包括的一种芯片系统来执行，其中，该芯片系统可以包括处理器。该芯片系统可以与存储器耦合，使得该芯片系统运行时调用该存储器中存储的计算机程序，实现上述终端设备执行的步骤。其中，该芯片系统中的处理器可以是应用处理器也可以是非应用处理器。

另外，本申请实施例还提供一种计算机可读存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在终端设备上运行时，使得终端设备执行上述相关方法步骤实现上述实施例中的图像处理方法。

另外，本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在终端设备上运行时，使得终端设备执行上述相关步骤，以实现上述实施例中的图像处理方法。

另外，本申请的实施例还提供一种芯片(也可以是组件或模块)，该芯片可包括一个或多个处理电路和一个或多个收发管脚；其中，所述收发管脚和所述处理电路通过内部连接通路互相通信，所述处理电路执行上述相关方法步骤实现上述实施例中的图像处理方法，以控制接收管脚接收信号，以控制发送管脚发送信号。

此外，通过上述描述可知，本申请实施例提供的终端设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (13)

1.一种图像处理方法，其特征在于，所述方法包括：

获取第一图像流，所述第一图像流中包括第一尺寸的第一图像；

确定降采样处理对应的采样频率；

根据所述采样频率，对所述第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像，所述第二尺寸小于所述第一尺寸；

根据所述第一图像在所述第一图像流中的顺序，将与所述第一图像对应的所述第二图像按序组装生成第二图像流；

基于所述第一图像流对应的拍摄模式对应的检测算法，对所述第二图像流中的第二图像进行处理，得到所述第二图像中包括的特征点信息；

根据所述第二图像中包括的特征点信息，对所述拍摄模式对应的拍摄参数进行调节，将所述第一图像流中的所述第一图像优化为第三图像。

2.根据权利要求1所述的方法，其特征在于，在所述对所述第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像之前，所述方法还包括：

响应于接收到的用户操作，确定当前选中的拍摄模式；

获取所述拍摄模式对应的检测算法；

根据所述拍摄模式和所述检测算法，确定第一参数和第二参数，所述第一参数用于指示是否要对所述第一图像流中的第一图像进行降采样处理，所述第二参数用于指示对所述第一图像流中的第一图像进行降采样处理得到的第二图像的尺寸信息为所述第二尺寸，以及所述第二图像要包括的效果参数。

3.根据权利要求2所述的方法，其特征在于，在所述第一参数指示要对所述第一图像流中的第一图像进行降采样处理时，所述对所述第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像，包括：

根据所述第二参数指示的尺寸信息和效果参数，对所述第一图像流中的第一图像进行降采样处理，得到包括所述效果参数，且尺寸信息为所述第二尺寸的第二图像。

4.根据权利要求2所述的方法，其特征在于，所述确定降采样处理对应的采样频率，包括：

根据所述拍摄模式和所述检测算法，确定所述采样频率。

5.根据权利要求2所述的方法，其特征在于，在所述第一参数指示不要对所述第一图像流中的第一图像进行降采样处理时，所述方法还包括：

显示所述第一图像流中的所述第一图像。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述第一图像在所述第一图像流中的顺序，将与所述第一图像对应的所述第二图像按序组装生成第二图像流之后，所述方法还包括：

基于所述第一图像流对应的拍摄模式对应的检测算法，对所述第二图像流进行分流处理，得到每一所述检测算法对应的所述第二图像流；

所述基于所述第一图像流对应的拍摄模式对应的检测算法，对所述第二图像流中的第二图像进行处理，得到第二图像中包括的特征点信息，包括：

基于所述第一图像流对应的拍摄模式对应的检测算法，从所述检测算法对应的分流后的所述第二图像流中获取第二图像进行处理，得到所述第二图像中包括的特征点信息。

7.根据权利要求1所述的方法，其特征在于，在所述对所述第一图像流中的第一图像进行降采样处理，得到第二尺寸的第二图像之后，所述方法还包括：

存储所述第二图像。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述获取第一图像流，包括：

响应于接收到的用户操作，确定当前选中的拍摄模式；

在所述拍摄模式下，生成图像获取请求；

基于所述图像获取请求，持续采集所述第一图像流。

9.根据权利要求1至7任一项所述的方法，其特征在于，在所述将所述第一图像流中的所述第一图像优化为所述第三图像之后，所述方法还包括：

显示所述第三图像。

10.根据权利要求1至7任一项所述的方法，其特征在于，所述第一图像流为预览流。

11.根据权利要求1至7任一项所述的方法，其特征在于，所述检测算法包括物体检测算法、人脸检测算法、笑脸检测算法、场景检测算法中的任意一种或几种。

12.一种终端设备，其特征在于，所述终端设备包括：存储器和处理器，所述存储器和所述处理器耦合；所述存储器存储有程序指令，所述程序指令由所述处理器执行时，使得所述终端设备执行如权利要求1至11任意一项所述的图像处理方法。

13.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在终端设备上运行时，使得所述终端设备执行如权利要求1至11任意一项所述的图像处理方法。

Images