CN112217996B - 图像处理方法、图像处理装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。该图像处理方法包括：获取多帧原始图像，所述多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略；根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像；其中，所述第一对焦模式为启用所述激光对焦模组时进行对焦的模式，所述第二对焦模式为关闭所述激光对焦模组时进行对焦的模式。本公开可以在不同的应用场景中，确定不同的图像合成策略，以生成效果更佳的目标图像。

Description

图像处理方法、图像处理装置、存储介质与电子设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备。

背景技术

随着智能终端设备的迅速发展，人们使用具有摄像功能的终端设备进行拍照或摄像的情况也越来越普遍。在使用终端设备进行拍摄时，往往需要进行对焦操作，以使拍摄清晰的图像。

为了给用户提供良好的拍摄体验，现有技术通常会采用相位对焦、反差对焦，或者采用激光对焦进行辅助对焦等方式实现自动对焦，然而无论采用上述哪一种对焦方式，在一些特殊场景下，仍然会出现对焦不准确的情况，特别是，在拍摄场景中出现较高反射率的物体或其他杂光时，会影响进入摄像头的光线，使得拍摄图像画面显示异常，例如出现红斑等情况，如图1所示。

因此，如何采用合适的方式对图像进行处理，以在不同的应用场景下得到对焦准确且显示效果良好的图像，是现有技术亟待解决的问题。

发明内容

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中拍摄图像对焦不准确或显示效果较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，应用于终端设备，所述终端设备包括激光对焦模组，方法包括：获取多帧原始图像，所述多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略；根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像；其中，所述第一对焦模式为启用所述激光对焦模组时进行对焦的模式，所述第二对焦模式为关闭所述激光对焦模组时进行对焦的模式。。

根据本公开的第二方面，提供一种图像处理装置，应用于终端设备，所述终端设备包括激光对焦模组，装置包括：图像获取模块，用于获取多帧原始图像，所述多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；策略确定模块，用于根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略；图像生成模块，用于根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像；其中，所述第一对焦模式为启用所述激光对焦模组时进行对焦的模式，所述第二对焦模式为关闭所述激光对焦模组时进行对焦的模式。。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。

本公开的技术方案具有以下有益效果：

根据上述图像处理方法、图像处理装置、计算机可读存储介质与电子设备，获取多帧原始图像，多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；根据第一类原始图像与第二类原始图像之间的差异值，确定图像合成策略；根据图像合成策略，对多帧原始图像进行处理，生成目标图像；其中，第一对焦模式为启用激光对焦模组时进行对焦的模式，第二对焦模式为关闭激光对焦模组时进行对焦的模式。一方面，本示例性实施例可以通过判断第一类原始图像与第二类原始图像之间的差异值，对当前拍摄场景中的环境光对拍摄图像的影响程度进行判断，确定符合当前拍摄场景的图像合成策略，进一步，基于该图像合成策略生成目标图像，即本示例性实施例能够根据不同的拍摄场景自适应调节图像合成策略，以在不同的拍摄场景中，生成显示效果良好的目标图像，避免由于拍摄场景中出现杂光干扰导致图像不能正常显示的问题；另一方面，本示例性实施例通过获取包含第一类原始图像和第二类原始图像的多帧原始图像，并基于多帧原始图像，生成目标图像，由于第二类原始图像是在关闭激光对焦模组时进行对焦的模式下采集的，也即本示例性实施例通过控制激光对焦模组的开启和关闭获取多帧原始图像，无需保持激光对焦模组始终保持开启的状态，既可以节省终端设备的硬件消耗，还能够基于不同模式下获取的原始图像生成目标图像；再一方面，本示例性实施例对图像进行处理的过程简单、便捷，且能够得到较好的图像显示效果，为用户提供了良好的拍摄体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出一种在含有干扰因素的拍摄场景下拍摄图像的示意图；

图2示出本示例性实施方式的一种系统架构的示意图；

图3示出本示例性实施方式的电子设备的示意图；

图4示出本示例性实施方式的一种图像处理方法的流程图；

图5示出本示例性实施方式的一种图像处理方法的子流程图；

图6示出本示例性实施方式的一种获取多帧原始图像的流程图；

图7示出本示例性实施方式的另一种图像处理方法的流程图；

图8示出本示例性实施方式的一种图像处理装置的结构框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图2示出了本公开示例性实施方式的一种系统架构的示意图。如图2所示，该系统架构200可以包括：终端设备210和服务器220。终端设备210可以是具有图像拍摄功能的各种电子设备，包括但不限于手机、平板电脑、数码相机、个人电脑等。应该理解，图2中的终端设备和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端和服务器。比如服务器220可以是多个服务器组成的服务器集群等。

本公开实施方式所提供的图像处理方法可以由终端设备210执行，例如通过终端设备210采集的第一类原始图像和第二类原始图像后，直接对采集的图像进行处理，确定合成策略，并进行图像合成，生成目标图像；也可以由服务器220执行，例如终端设备210采集第一类原始图像和第二类原始图像之后，将其上传到服务器220，由服务器220对这些原始图像进行处理，确定合成策略，并进行图像合成，将生成的目标图像返回至终端设备进行显示等等，本公开对此不做具体限定。

本公开的示例性实施方式提供一种用于实现图像处理方法的电子设备，其可以是图2中的终端设备210或服务器220。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像处理方法。

电子设备可以以各种形式来实施，例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、导航装置、可穿戴设备、无人机等移动设备，以及台式电脑、智能电视等固定设备。

下面以图3中的终端设备300为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图3中的构造也能够应用于固定类型的设备。在另一些实施方式中，终端设备300可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对终端设备300的结构限定。在另一些实施方式中，终端设备300也可以采用与图3不同的接口连接方式，或多种接口连接方式的组合。

如图3所示，终端设备300具体可以包括：处理器310、内部存储器321、外部存储器接口322、USB接口330、充电管理模块340、电源管理模块341、电池342、天线1、天线2、移动通信模块350、无线通信模块360、音频模块370、扬声器371、受话器372、麦克风373、耳机接口374、传感器模块380、显示屏幕390、摄像模组391、指示器392、马达393、按键394以及用户标识模块(Subscriber Identification Module，SIM)卡接口395等。

处理器310可以包括一个或多个处理单元，例如：处理器310可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、编码器、解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。编码器可以对图像或视频数据进行编码(即压缩)，形成码流数据；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。

在一些实施方式中，处理器310可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit，I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound，I2S)接口、脉冲编码调制(Pulse Code Modulation，PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter，UART)接口、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)、通用输入输出(General-PurposeInput/Output，GPIO)接口、用户标识模块(Subscriber Identity Module，SIM)接口和/或通用串行总线(Universal Serial Bus，USB)接口等。通过不同的接口和终端设备300的其他部件形成连接。

USB接口330是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口330可以用于连接充电器为终端设备300充电，也可以连接耳机，通过耳机播放音频，还可以用于终端设备300连接其他电子设备，例如连接电脑、外围设备等。

充电管理模块340用于从充电器接收充电输入。充电管理模块340为电池342充电的同时，还可以通过电源管理模块341为设备供电。

电源管理模块341用于连接电池342、充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入，为终端设备300的各个部分供电，还可以用于监测电池的状态。

终端设备300的无线通信功能可以通过天线1、天线2、移动通信模块350、无线通信模块360、调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。终端设备300中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。移动通信模块350可以提供应用在终端设备300上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块360可以提供应用在终端设备300上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信解决方案。无线通信模块360可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块360经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施方式中，终端设备300的天线1和移动通信模块350耦合，天线2和无线通信模块360耦合，使得终端设备300可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(Global System for Mobile communications，GSM)，通用分组无线服务(General Packet Radio Service，GPRS)，码分多址接入(CodeDivision Multiple Access，CDMA)，宽带码分多址(Wideband Code Division MultipleAccess，WCDMA)，时分码分多址(Time Division-Synchronous Code Division MultipleAccess，TD-SCDMA)，长期演进(Long Term Evolution，LTE)，新空口(New Radio，NR)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。

终端设备300通过GPU、显示屏幕390及应用处理器等实现显示功能。GPU用于执行数学和几何计算，以实现图形渲染，并连接显示屏幕390和应用处理器。处理器310可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。终端设备300可以包括一个或多个显示屏幕390，用于显示图像，视频等。

终端设备300可以通过ISP、摄像模组391、编码器、解码器、GPU、显示屏幕390及应用处理器等实现拍摄功能。

摄像模组391用于捕获静态图像或视频，通过感光元件采集光信号，转换为电信号。ISP用于处理摄像模组391反馈的数据，将电信号转换成数字图像信号。

外部存储器接口322可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备300的存储能力。

内部存储器321可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器321可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备300使用过程中所创建的数据(比如图像，视频)等。处理器310通过运行存储在内部存储器321的指令和/或存储在设置于处理器中的存储器的指令，执行终端设备300的各种功能应用以及数据处理。

终端设备300可以通过音频模块370、扬声器371、受话器372、麦克风373、耳机接口374及应用处理器等实现音频功能。例如音乐播放、录音等。音频模块370用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块370还可以用于对音频信号编码和解码。扬声器371，用于将音频电信号转换为声音信号。受话器372，用于将音频电信号转换成声音信号。麦克风373，用于将声音信号转换为电信号。耳机接口374用于连接有线耳机。

传感器模块380可以包括触摸传感器3801、压力传感器3802、陀螺仪传感器3803、气压传感器3804等。触摸传感器3801用于感应外部输入的触摸事件，其可以设置于显示屏幕390的下方，使显示屏幕390成为触控屏，也可以设置于其他位置，例如设置为独立于显示屏幕390的触控板，还可以设置于终端设备300的配套外接设备，例如外接触控板、触摸式遥控器等，使用户通过外接设备实现触控交互。压力传感器3802用于感受压力信号，可以将压力信号转换成电信号，用于实现压力触控等功能。陀螺仪传感器3803可以用于确定终端设备300的运动姿态，可用于拍摄防抖、导航、体感游戏等场景。气压传感器3804用于测量气压，可通过计算海拔高度，辅助定位和导航。此外，根据实际需要，还可以在传感器模块380中设置其他功能的传感器，例如深度传感器、加速度传感器、距离传感器等。

指示器392可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。

马达393可以产生振动提示，例如来电、闹钟、接收信息等的振动提示，也可以用于触摸振动反馈等。

按键394包括开机键，音量键等。按键394可以是机械按键。也可以是触摸式按键。终端设备300可以接收按键输入，产生与终端设备300的用户设置以及功能控制有关的键信号输入。

终端设备300可以支持一个或多个SIM卡接口395，用于连接SIM卡，使终端设备300通过SIM卡和网络交互，实现通话以及数据通信等功能。

本公开的示例性实施例首先提供了一种图像处理方法，应用于终端设备，其可以是智能手机、平板电脑、或可穿戴设备等具有拍摄功能的电子设备。该终端设备包括激光对焦模组，其可以通过信号发射模块向周围发射激光信号，以及通过信号接收模块接收周围反射的激光信号，并根据发射信号和接收信号的时间差，计算终端设备与拍摄对象的距离，从而确定焦距参数进行对焦。其中，激光对焦模组可以是任意具有测距功能的模组，例如设置TOF(Time Of Flight，飞行时间)摄像头的红外成像模组，其可以通过向周围环境发射红外脉冲信号，并接收红外辐射信号，来确定深度信息等。

下面对本公开示例性实施方式的图像处理方法和图像处理装置进行具体说明。

图4示出了本示例性实施方式中一种图像处理方法的流程，包括以下步骤S410～S430：

步骤S410，获取多帧原始图像，多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像。

其中，第一对焦模式为启用激光对焦模组时进行对焦的模式，第二对焦模式为关闭激光对焦模组时进行对焦的模式。

其中，原始图像是指终端设备获取的用于生成目标图像的初始图像，例如用户打开相机，未进行拍摄操作之前，摄像头采集的预览图像；或者用户进行拍摄操作时，所拍摄的当前帧图像，以及在当前帧图像之前的一帧或多帧图像等。在本示例性实施例中，可以通过第一对焦模式和第二对焦模式采集多帧原始图像，在第一对焦模式下，终端设备会开启激光对焦模组，通过发射激光信号，并接收反射的激光信号，以确定拍摄对象的距离，进一步确定当前的焦距参数，进行第一类图像的采集；在第二对焦模式下，终端时会关闭激光对焦模组，通过其他方式确定当前的焦距参数，例如采用上一帧图像的焦距参数，或者采用上一次开启激光对焦模组时确定的焦距参数，再或者通过预设的焦距参数进行第二类图像的采集等等。

在一示例性实施例中，如图5所示，上述第一类原始图像可以通过以下步骤获取：

步骤S510，通过激光对焦模组向周围发送激光信号，并接收反射的激光信号，确定拍摄对象的距离信息；

步骤S520，根据距离信息，确定图像采集所使用的焦距参数；

步骤S530，基于焦距参数采集第一类原始图像。

在本示例性实施例中，激光对焦模组可以包括用于进行激光信号发射的信号发射模块，以及用于接收反射的激光信号的信号接收模块，在第一对焦模式下，激光对焦模组开启，信号发射模块向周围环境发射激光信号，例如向周围环境发射经过调制的预设波段的红外脉冲信号，当遇到拍摄对象后反射信号，信号接收模块接收该反射信号，并通过计算激光信号发射和反射的时间差或相位差，确定终端设备与拍摄对象之间的距离信息，即深度信息。进一步的，可以根据成像规律，确定当前采集图像所使用的焦距参数，使用该焦距参数采集第一类原始图像。

在一示例性实施例中，上述第二类原始图像可以通过以下方式获取：

根据上一帧图像的焦距参数确定当前帧图像的焦距参数，或者根据距离当前帧图像最近的第一类原始图像的焦距参数，确定当前帧图像的焦距参数；

基于当前帧图像的焦距参数采集第二类原始图像。

由于第二类原始图像是在第二对焦模式下采集的原始图像，未开启激光对焦模组，无法进行准确的测距过程得到距离信息，并根据距离信息确定焦距参数。因此，在关闭激光对焦模组进行对焦，采集第二类原始图像时，可以通过以下两种方式确定当前帧图像的焦距参数。第一种方式，将上一帧图像的焦距参数，直接确定为当前帧图像的焦距参数，其中，上一帧图像可以是第一类原始图像，也可以是第二类原始图像。当上一帧图像为第一类原始图像时，由于第一类原始图像是在开启激光对焦模组的模式下采集的图像，经过了较为准确的测距过程，并计算得到了焦距参数，而每一帧图像间隔时间很短，相邻帧图像的对焦位置可以近似看做是相同的，因此，可以将上一帧第一类原始图像的焦距参数，确定为当前帧第二类原始图像的焦距参数；而当上一帧图像为第二类原始图像时，由于本示例性实施例中当前帧图像的焦距参数，均可以根据上一帧图像的焦距参数确定，即上一帧第二类原始图像也可以根据之前帧的原始图像，确定焦距参数，例如可以从当前帧图像递推到之前距离最近的第一类原始图像，将其焦距参数作为当前帧图像的焦距参数；或者上一帧第二类原始图像的焦距参数是根据之前的第一类原始图像的焦距参数，进行微调后确定的，则当前帧图像也可以将上一帧第二类原始图像的焦距参数作为当前帧图像的焦距参数等。第二种方式，可以直接根据距离当前帧最近的第一类原始图像的焦距参数，确定当前帧图像焦距参数，例如直接将距离当前帧最近的第一类原始图像的焦距参数作为当前帧的焦距参数，或者将第一类原始图像的焦距参数进行微调后作为当前帧的焦距参数等。通过上述方式，本示例性实施例可以无需保持激光对焦模组始终处于开启状态，就能够确定所有原始图像的焦距参数，进行原始图像的采集，且获取的原始图像能够呈现比较清晰的显示效果。

在一示例性实施例中，上述步骤S410可以包括以下步骤：

周期性地控制激光对焦模组开启，以在第一对焦模式下获取第一数量的第一类原始图像，以及控制激光对焦模组关闭，以在第二对焦模式下获取第二数量的第二类原始图像。

在本示例性实施例中，可以设置周期性的开启或关闭激光对焦模组，开启激光对焦模组时，获取第一数量的第一类原始图像，关闭激光对焦模组时，获取第二数量的第二类原始图像。在获取多帧原始图像的过程中，激光对焦模组可以仅切换一次，例如开启激光对焦模组时，获取第一数量的第一类原始图像，关闭激光对焦模组时，获取第二数量的第二类原始图像，第一数量与第二数量即为多帧原始图像的总数量；也可以切换多次，例如每采集一帧原始图像，控制激光对焦模组开启或关闭，即采用隔帧开启激光对焦模组的方式进行原始图像的采集。另外，上述第一数量与第二数量可以相同，也可以不同，例如可以在激光对焦模式开启时，采集3帧第一类原始图像，在激光对焦模式关闭时，采集5帧第二类原始图像；也可以在激光对焦模式开启时，采集3帧第一类原始图像，在激光对焦模式关闭时，采集3帧第二类原始图像等，本公开对此不做具体限定。由于第一对焦模式中进行了激光测距的过程，可以通过计算得到的焦距参数采集第一类原始图像，而第二类原始图像的焦距参数可以根据第一类原始图像的焦距参数确定。因此，本示例性实施例可以设置上述第一数量为1，即开启激光对焦模组时，采集1帧第一类原始图像，关闭激光对焦模组时，通过之前的这1帧第一类原始图像的焦距参数确定当前的焦距参数，采集一帧或多帧第二类原始图像。进一步的，还可以设置上述第二数量也为1，那么在进行原始图像的采集时，即可以采用隔帧开启激光对焦模组，获取第一类原始图像与第二类原始图像相邻的多帧原始图像。

图6示出了本示例性实施例中一种获取多帧原始图像的流程图，具体可以包括：步骤S610，启动相机；步骤S620，开启激光对焦模组，通过信号发射模块向周围发送激光信号；步骤S630，通过激光对焦模组进行激光测距，确定当前帧图像的焦距参数；步骤S640，根据焦距参数进行对焦，并采集第一帧第一类原始图像；步骤S650，关闭激光对焦模组，使信号发射模块暂停向周围发送激光信号；步骤S660，以上一帧图像的焦距参数作为当前帧图像的焦距参数，根据该焦距参数进行对焦，并采集第二帧第二类原始图像；步骤S670，开启激光对焦模组，再次通过信号发射模块向周围发送激光信号；步骤S680，再次通过激光对焦模组进行激光测距，确定当前帧图像的焦距参数；步骤S690，根据焦距参数进行对焦，并采集第三帧第一类原始图像；以此类推，实现隔帧开启激光对焦模组，获取第一类原始图像与第二类原始图像相邻的多帧原始图像。

步骤S420，根据第一类原始图像与第二类原始图像之间的差异值，确定图像合成策略。

第一类原始图像与第二类原始图像之间的差异值可以反映，当前拍摄场景中开启激光对焦模组与关闭激光对焦模组对采集的原始图像的影响，该差异值可以根据第一类原始图像和第二类原始图像的明度、亮度、灰度或像素值等任意一种图像参数确定。在本示例性实施例中，可以从一帧或多帧第一类原始图像中选择任意一帧待比较的第一类原始图像，从一帧或多帧第二类原始图像中选择任意一帧待比较的第二类原始图像，计算这两帧原始图像的差异值；也可以是从多帧原始图像中，选择处于相邻帧的第一类原始图像和第二类原始图像，进行差异值的计算；还可以选择多帧第一类原始图像和多帧第二类原始图像进行差异值的计算等等，本公开对此不做具体限定。

当确定了第一类原始图像与第二类原始图像后，可以对当前拍摄场景进行判断，确定是否包含激光杂光或反射率较高的物体等影响拍摄图像画面显示的干扰因素，从而根据判断结果，确定符合当前拍摄场景的图像合成策略，该图像合成策略可以确定当前拍摄场景使用哪一类原始图像生成目标图像能够得到更好的显示效果，例如当拍摄场景中存在上述干扰因素，则使用开启激光对焦模组采集的第一类原始图像进行图像合成，可能会影响目标图像的显示效果，因此，可以确定仅合成第二类原始图像的图像合成策略；如果当前拍摄场景不存在上述干扰因素，则可以对采集的所有原始图像进行合成，生成目标图像等等。

步骤S430，根据图像合成策略，对多帧原始图像进行处理，生成目标图像。

其中，目标图像是指最终生成的图像，例如用户打开相机进行拍摄操作时，系统可以根据保存的预览时的原始图像，以及拍摄时的原始图像，进行合成生成最终给用户呈现的图像。在本示例性实施例中，在确定图像合成策略之后，进行图像合成处理时，还可以对合成图像的数量和权重进行设置，例如在存在激光杂光的拍摄场景中，确定根据第二类原始图像生成目标图像的图像合成策略，在进行合成时，可以将距离用户进行拍摄操作的拍摄帧最近的预设数量帧的第二类原始图像；或者在普通的拍摄场景中，确定根据包含第一类原始图像和第二类原始图像的多帧原始图像生成目标图像的图像合成策略，由于第二类原始图像的焦距参数相比于第一类原始图像的焦距参数更为准确，因此，可以采用较多数量的第一类原始图像，以及较少数量的第二类原始图像进行合成，或者对第一类原始图像赋予较高的权重，对第二类原始图像赋予较低的权重等等。

在一示例性实施例中，上述步骤S420可以包括以下步骤：

确定处于相邻帧的第一类原始图像与第二类原始图像的亮度差异值；

根据亮度差异值，确定图像合成策略。

在本示例性实施例中，可以从多帧原始图像中确定出处于相邻帧的第一类原始图像和第二类原始图像，以准确的确定第一类原始图像与第二类原始图像之间的差异值，该差异值可以表现为图像的亮度差异值。具体确定亮度差异值的方法可以包括多种，例如获取第一类原始图像与第二类原始图像的RGB(Red、Green、Blue，红色、绿色、蓝色)色彩模式图像，并将其转换为HSL(Hue、Saturation、Lightness，色相、饱和度、亮度)色彩模式图像，或者直接获取HSL色彩模式图像；分别从第一类原始图像与第二类原始图像的HSL色彩模式的图像中提取出L分量，该L分量可以反映原始图像的亮度；通过对第一类原始图像中的L分量与第二类原始图像中的L分量的比较，可以确定第一类原始图像与第二类原始图像的亮度差异值；进一步，可以根据该亮度差异值确定图像合成策略。

在一示例性实施例中，上述步骤S430，可以包括：

如果确定亮度差异值高于预设阈值，则根据第二类原始图像，生成目标图像。

其中，预设阈值可以根据需要或者经验进行设置，当第一类原始图像与第二类原始图像的亮度差异值高于预设阈值，说明当前拍摄场景中存在会影响目标图像画面显示效果的杂光等干扰因素。因此，在生成目标图像时，可以将第一类原始图像进行丢弃，仅根据第二类原始图像，合成目标图像。

进一步的，上述图像处理方法还可以包括：

如果确定亮度差异值低于预设阈值，则根据第一类原始图像和第二类原始图像，生成目标图像。

当亮度差异值低于上述预设阈值时，说明当前拍摄场景中不存在影响目标图像画面显示效果的杂光干扰因素，或者影响较小。因此，在生成目标图像时，可以根据第一类原始图像和第二类原始图像合成目标图像。

图7示出了本示例性实施例中另一种图像处理方法的流程图，具体可以包括以下步骤：

步骤S710，采集一帧或多帧第一类原始图像，以及一帧或多帧第二类原始图像；

步骤S720，逐像素确定第一类原始图像和第二类原始图像的亮度差异值是否高于预设阈值；

如果第一类原始图像和第二类原始图像的亮度差异值高于预设阈值，则执行步骤S730，丢弃第一类原始图像，保留第二类原始图像；

步骤S740，响应于用户进行拍摄操作，关闭激光对焦模块；

步骤S750，根据第二类原始图像进行图像合成，生成目标图像；

如果第一类原始图像和第二类原始图像的亮度差异值低于预设阈值，则执行步骤S760，根据第一类原始图像和第二类原始图像进行图像合成，生成目标图像。

其中，在进行步骤S720，逐像素确定第一类原始图像和第二类原始图像的亮度差异值是否高于预设阈值时，第一类原始图像和第二类原始图像可以是相邻帧，具体的，可以先确定第一类原始图像与第二类原始图像中亮度差异值较高的区域，再判断该区域的亮度差异值是否高于预设阈值，如果该区域的亮度差异值低于预设阈值，则说明其他区域的亮度差异值也低于预设阈值，也即处于相邻帧的第一类原始图像和第二类原始图像各区域没有明显的亮度差异，则认为该拍摄场景下，用户不会拍摄到激光杂光等干扰因素，执行步骤S760，若低于预设阈值，则执行步骤S730。

综上，本示例性实施方式中，获取多帧原始图像，多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；根据第一类原始图像与第二类原始图像之间的差异值，确定图像合成策略；根据图像合成策略，对多帧原始图像进行处理，生成目标图像；其中，第一对焦模式为启用激光对焦模组时进行对焦的模式，第二对焦模式为关闭激光对焦模组时进行对焦的模式。一方面，本示例性实施例可以通过判断第一类原始图像与第二类原始图像之间的差异值，对当前拍摄场景中的环境光对拍摄图像的影响程度进行判断，确定符合当前拍摄场景的图像合成策略，进一步，基于该图像合成策略生成目标图像，即本示例性实施例能够根据不同的拍摄场景自适应调节图像合成策略，以在不同的拍摄场景中，生成显示效果良好的目标图像，避免由于拍摄场景中出现杂光干扰导致图像不能正常显示的问题；另一方面，本示例性实施例通过获取包含第一类原始图像和第二类原始图像的多帧原始图像，并基于多帧原始图像，生成目标图像，由于第二类原始图像是在关闭激光对焦模组时进行对焦的模式下采集的，也即本示例性实施例通过控制激光对焦模组的开启和关闭获取多帧原始图像，无需保持激光对焦模组始终保持开启的状态，既可以节省终端设备的硬件消耗，还能够基于不同模式下获取的原始图像生成目标图像；再一方面，本示例性实施例对图像进行处理的过程简单、便捷，且能够得到较好的图像显示效果，为用户提供了良好的拍摄体验。

本公开的示例性实施方式还提供一种图像处理装置。应用于终端设备，终端设备包括激光对焦模组，如图8所示，该图像处理装置800可以包括：图像获取模块810，用于获取多帧原始图像，多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；策略确定模块820，用于根据第一类原始图像与第二类原始图像之间的差异值，确定图像合成策略；图像生成模块830，用于根据图像合成策略，对多帧原始图像进行处理，生成目标图像；其中，第一对焦模式为启用激光对焦模组时进行对焦的模式，第二对焦模式为关闭激光对焦模组时进行对焦的模式。

在一示例性实施例中，第一类原始图像被配置为通过以下方式获取：通过激光对焦模组向周围发送激光信号，并接收反射的激光信号，确定拍摄对象的距离信息；根据距离信息，确定图像采集所使用的焦距参数；基于焦距参数采集第一类原始图像。

在一示例性实施例中，第二类原始图像被配置为通过以下方式获取：根据上一帧图像的焦距参数确定当前帧图像的焦距参数，或者根据距离当前帧图像最近的第一类原始图像的焦距参数，确定当前帧图像的焦距参数；基于当前帧图像的焦距参数采集第二类原始图像。

在一示例性实施例中，图像获取模块包括：控制单元，用于周期性地控制激光对焦模组开启，以在第一对焦模式下获取第一数量的第一类原始图像，以及控制激光对焦模组关闭，以在第二对焦模式下获取第二数量的第二类原始图像。

在一示例性实施例中，第一数量为一。

在一示例性实施例中，第二数量为一。

在一示例性实施例中，策略确定模块包括：亮度差异确定单元，用于确定处于相邻帧的第一类原始图像与第二类原始图像的亮度差异值；合成策略确定单元，用于根据亮度差异值，确定图像合成策略。

在一示例性实施例中，图像生成模块包括：第一生成单元，用于如果确定亮度差异值高于预设阈值，则根据第二类原始图像，生成目标图像。

在一示例性实施例中，图像处理装置还包括：第二生成单元，用于如果确定亮度差异值低于预设阈值，则根据第一类原始图像和第二类原始图像，生成目标图像。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图4、图5、图6或图7中任意一个或多个步骤。

本公开的示例性实施方式还提供了一种用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (12)

1.一种图像处理方法，应用于终端设备，其特征在于，所述终端设备包括激光对焦模组，所述方法包括：

获取多帧原始图像，所述多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；

根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略；

根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像；

其中，所述第一对焦模式为启用所述激光对焦模组时进行对焦的模式，所述第二对焦模式为关闭所述激光对焦模组时进行对焦的模式。

2.根据权利要求1所述的方法，其特征在于，所述第一类原始图像，通过以下方式获取：

通过所述激光对焦模组向周围发送激光信号，并接收反射的激光信号，确定拍摄对象的距离信息；

根据所述距离信息，确定图像采集所使用的焦距参数；

基于所述焦距参数采集所述第一类原始图像。

3.根据权利要求1所述的方法，其特征在于，所述第二类原始图像，通过以下方式获取：

根据上一帧图像的焦距参数确定当前帧图像的焦距参数，或者根据距离所述当前帧图像最近的第一类原始图像的焦距参数，确定所述当前帧图像的焦距参数；

基于所述当前帧图像的焦距参数采集所述第二类原始图像。

4.根据权利要求1所述的方法，其特征在于，所述获取多帧原始图像，包括：

周期性地控制所述激光对焦模组开启，以在所述第一对焦模式下获取第一数量的第一类原始图像，以及控制所述激光对焦模组关闭，以在所述第二对焦模式下获取第二数量的第二类原始图像。

5.根据权利要求4所述的方法，其特征在于，所述第一数量为一。

6.根据权利要求5所述的方法，其特征在于，所述第二数量为一。

7.根据权利要求1所述的方法，其特征在于，所述根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略，包括：

确定处于相邻帧的第一类原始图像与第二类原始图像的亮度差异值；

根据所述亮度差异值，确定所述图像合成策略。

8.根据权利要求7所述的方法，其特征在于，所述根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像，包括：

如果确定所述亮度差异值高于预设阈值，则根据所述第二类原始图像，生成所述目标图像。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

如果确定所述亮度差异值低于所述预设阈值，则根据所述第一类原始图像和所述第二类原始图像，生成所述目标图像。

10.一种图像处理装置，应用于终端设备，其特征在于，所述终端设备包括激光对焦模组，所述装置包括：

图像获取模块，用于获取多帧原始图像，所述多帧原始图像中包括在第一对焦模式下所采集的一帧或多帧第一类原始图像，以及在第二对焦模式下所采集的一帧或多帧第二类原始图像；

策略确定模块，用于根据所述第一类原始图像与所述第二类原始图像之间的差异值，确定图像合成策略；

图像生成模块，用于根据所述图像合成策略，对所述多帧原始图像进行处理，生成目标图像；

其中，所述第一对焦模式为启用所述激光对焦模组时进行对焦的模式，所述第二对焦模式为关闭所述激光对焦模组时进行对焦的模式。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9任一项所述的方法。

12.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。

Images