CN111479075B - 拍照终端及其图像处理方法 - Google Patents

Abstract

本申请公开了一种拍照终端及其图像处理方法，属于网络技术领域。所述拍照终端包括：处理器，以及位于拍照终端的同一面的光场摄像头和主摄像头；光场摄像头，用于响应于拍摄指令，获取拍摄场景的颜色图像，并将颜色图像发送至处理器；主摄像头，用于响应于拍摄指令，获取拍摄场景的主图像，并将主图像发送至处理器；处理器，用于根据颜色图像对主图像进行融合处理，得到目标图像。由于本申请最终获取到的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，使得最终显示的目标图像的效果更好。

Description

拍照终端及其图像处理方法

技术领域

本公开涉及电子技术领域，特别涉及一种拍照终端及其图像处理方法。

背景技术

目前，拍照终端可以包括摄像头和处理器。该处理器中显示有拍照按钮。处理器在检测到用户针对该拍照按钮的选择指令后，可以摄像头发送拍摄指令。该摄像头可以响应于该拍摄指令，获取拍摄场景的图像，该图像包括该图像中每个像素的亮度信息和颜色信息。之后摄像头可以将该图像发送至处理器，以使处理器显示该图像。但是，该显示的图像的效果较差。

发明内容

本公开实施例提供了一种拍照终端及其图像处理方法，可以解决相关技术中显示的图像的效果较差的问题。所述技术方案如下：

一方面，提供了一种拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；

所述光场摄像头，用于响应于拍摄指令，获取拍摄场景的颜色图像，并将所述颜色图像发送至所述处理器，所述颜色图像包括所述颜色图像中每个像素的第一亮度值和第一颜色值；

所述主摄像头，用于响应于所述拍摄指令，获取所述拍摄场景的主图像，并将所述主图像发送至所述处理器，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

所述处理器，用于根据所述颜色图像对所述主图像进行融合处理，得到目标图像。

可选的，所述处理器，用于：

将所述颜色图像中每个像素的所述第一亮度值与所述主图像中对应位置处的像素的所述第二亮度值进行融合处理，并将所述颜色图像中每个像素的所述第一颜色值与所述主图像中对应位置处的像素的所述第二颜色值进行融合处理，得到目标图像。

可选的，所述处理器，用于：

将所述颜色图像中每个像素的所述第一亮度值与所述主图像中对应位置处的像素的所述第二亮度值进行加权求和，并将所述颜色图像中每个像素的所述第一颜色值与所述主图像中对应位置处的像素的所述第二颜色值进行加权求和，得到目标图像。

可选的，其特征在于，所述光场摄像头，还用于：

响应于所述拍摄指令，获取所述拍摄场景的深度图像，所述深度图像包括所述深度图像中每个像素的深度值；

所述处理器，还用于：

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述目标图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

可选的，所述拍照终端还包括：显示屏；

所述显示屏，用于显示所述目标图像；

所述处理器，用于响应于针对所述目标图像的修饰指令，根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素。

可选的，所述处理器，用于将所述深度图像中深度值处于目标范围内的像素，确定为所述深度图像中的目标像素。

另一方面，提供了一种拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；

所述光场摄像头，用于响应于拍摄指令，获取拍摄场景的深度图像，并将所述深度图像发送至所述处理器，其中，所述深度图像包括所述深度图像中每个像素的深度值；

所述主摄像头，用于响应于所述拍摄指令，获取所述拍摄场景的主图像，并将所述主图像发送至所述处理器，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

所述处理器，用于根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；根据所述目标像素在所述深度图像的位置，分别对所述目标图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

又一方面，提供了一种图像处理方法，应用于拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；所述方法包括：

获取所述光场摄像头拍摄得到的拍摄场景的颜色图像，所述颜色图像包括所述颜色图像中每个像素的第一亮度值和第一颜色值；

获取所述主摄像头拍摄得到的拍摄场景的主图像，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

根据所述颜色图像对所述主图像进行融合处理，得到目标图像。

可选的，所述方法还包括：

获取所述光场摄像头拍摄得到的拍摄场景的深度图像，所述深度图像包括所述深度图像中每个像素的深度值；

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述目标图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

再一方面，提供了一种图像处理方法，应用于拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；所述方法包括：

获取所述光场摄像头拍摄得到的拍摄场景的深度图像，其中，所述深度图像包括所述深度图像中每个像素的深度值；

获取所述主摄像头拍摄得到的拍摄场景的主图像，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述主图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如上述图像处理方法。

本公开实施例提供的技术方案带来的有益效果至少包括：

本公开实施例提供了一种拍照终端及其图像处理方法，该拍照终端获取拍摄场景的颜色图像和主图像，并可以根据该颜色图像对该主图像进行融合处理，得到目标图像。由于最终获取到的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，相较于相关技术中最终显示的是一个摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

附图说明

为了更清楚地说明本公开实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例提供的一种图像处理方法所涉及的实施环境的示意图；

图2是本申请实施例提供的一种图像处理方法的流程图；

图3是本申请实施例提供的另一种图像处理方法的流程图；

图4是本申请实施例提供的一种颜色图像中每个像素的位置与主图像中每个像素的位置之间的对应关系的示意图；

图5是本申请实施例提供的另一种颜色图像中每个像素的位置与主图像中每个像素的位置之间的对应关系的示意图；

图6是本申请实施例提供的一种显示图像和修饰按钮的示意图；

图7是本申请实施例提供的又一种图像处理方法的流程图；

图8是本申请实施例提供的另一种拍照终端的结构示意图；

图9是本申请实施例提供的又一种拍照终端的结构示意图；

图10本申请实施例提供的另一种拍照终端的结构示意图；

图11是本申请实施例提供的拍照终端的软件结构框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开实施方式作进一步地详细描述。

图1是本公开实施例提供的一种图像处理方法所涉及的实施环境的示意图。如图1所示，该实施环境可以包括：拍照终端110。该拍照终端110可以为个人电脑、笔记本电脑、平板电脑或手机等设置有摄像头的设备。

该拍照终端110可以包括处理器(图中未示出)，以及位于拍照终端110的同一面的光场摄像头111和主摄像头112。其中，该拍照终端110可以包括正面和背面，该光场摄像头111和主摄像头112可以均位于该拍照终端110的正面，也可以均位于拍照终端110的背面。或者该拍照终端110的正面和背面可以均设置有光场摄像头111和主摄像头112。

图2是本申请实施例提供的一种图像处理方法的流程图。该图像处理方法应用于图1所示的拍照终端110中，该拍照终端110可以包括处理器，以及位于拍照终端110的同一面的光场摄像头111和主摄像头112。如图2所示，该方法可以包括：

步骤201、获取光场摄像头拍摄得到的拍摄场景的颜色图像。

其中，该颜色图像可以包括该颜色图像中每个像素的第一亮度值和第一颜色值。该第一颜色值可以为红色绿色蓝色(red green blue，RGB)颜色值。

在本申请实施例中，拍照终端中可以安装有相机应用程序。该相机应用程序的显示界面中可以设置有拍摄按钮。拍照终端中的处理器在检测到用户针对该拍摄按钮的点击操作后，可以生成拍摄指令。并可以将该拍摄指令发送至光场摄像头，该光场摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到颜色图像。之后光场摄像头可以将该颜色图像发送至处理器。

或者，拍照终端中的处理器在检测到用户针对该相机应用程序的图标的点击操作后，可以生成拍摄指令。并可以将该拍摄指令发送至光场摄像头，该光场摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到颜色图像。之后光场摄像头可以将该颜色图像发送至处理器。

步骤202、获取主摄像头拍摄得到的拍摄场景的主图像。

其中，该主图像可以包括该主图像中每个像素的第二亮度值和第二颜色值。该第二颜色值可以为RGB颜色值。

在本申请实施例中，拍照终端中的处理器在生成拍摄指令后，还可以将该拍摄指令发送至主摄像头，该主摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到主图像。之后，主摄像头可以将该主图像发送至处理器。

步骤203、根据颜色图像对主图像进行融合处理，得到目标图像。

拍照终端中的处理器在接收到颜色图像和主图像后，可以根据该颜色图像对该主图像进行融合处理，从而得到目标图像。其中，该颜色图像的分辨率可以小于或者等于主图像的分辨率，该目标图像的分辨率与主图像的分辨率相同。

综上所述，本申请实施例提供了一种图像处理方法，该图像处理方法可以获取拍摄场景的颜色图像和主图像，并可以根据该颜色图像对该主图像进行融合处理，得到目标图像。由于最终获取到的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，相较于相关技术中最终显示的是一个摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

图3是本申请实施例提供的另一种图像处理方法的流程图。该图像处理方法应用于图1所示的拍照终端110中，该拍照终端110可以包括处理器，以及位于拍照终端110的同一面的光场摄像头111和主摄像头112。如图3所示，该方法可以包括：

步骤301、获取光场摄像头拍摄得到的拍摄场景的颜色图像以及深度图像。

其中，该颜色图像可以包括该颜色图像中每个像素的第一亮度值和第一颜色值。该第一颜色值可以为RGB颜色值。该深度图像可以包括该深度图像中每个像素的深度值，该每个像素的深度值用于指示拍摄场景中与该像素对应的点，与光场摄像头之间的距离。由于该深度图像和颜色图像均是由光场摄像头拍摄得到的，因此该深度图像的分辨率与颜色图像的分辨率相同。

在本申请实施例中，拍照终端中可以安装有相机应用程序。该相机应用程序的显示界面中可以设置有拍摄按钮。拍照终端中的处理器在检测到用户针对该拍摄按钮的点击操作后，可以生成拍摄指令。并可以将该拍摄指令发送至光场摄像头，该光场摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到颜色图像和深度图像。之后光场摄像头可以将该颜色图像发送至处理器。

或者，拍照终端中的处理器在检测到用户针对该相机应用程序的图标的点击操作后，可以生成拍摄指令。并可以将该拍摄指令发送至光场摄像头，该光场摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到颜色图像和深度图像。之后光场摄像头可以将该颜色图像和深度图像发送至处理器。

可选的，光场摄像头可以获取拍摄场景中与每个像素对应的点，与光场摄像头的中心轴之间的夹角，从而得到多个夹角。并获取拍摄场景中与每个像素对应的点相对于该拍摄场景的中心点的相对位置，从而得到多个相对位置。之后可以将该多个夹角和多个相对位置发送至处理器。处理器可以根据摄像头视觉算法，根据多个夹角和多个相对位置，得到拍摄场景中与该每个像素对应的点与光场摄像头之间的距离，从而得到深度图像。

步骤302、获取主摄像头拍摄得到的拍摄场景的主图像。

其中，该主图像可以包括该主图像中每个像素的第二亮度值和第二颜色值。该第二颜色值可以为RGB颜色值。

拍照终端中的处理器在生成拍摄指令后，还可以将该拍摄指令发送至主摄像头，该主摄像头在接收到该拍摄指令后，可以响应于该拍摄指令，对拍摄场景进行拍摄，得到主图像。之后主摄像头可以将该主图像发送至处理器。

在本申请实施例中，拍照终端中的处理器可以将生成的拍摄指令同时发送至光场摄像头和主摄像头，使得光场摄像头和主场摄像头同步获取拍摄场景的图像，进而确保光场摄像头和主摄像头获取到的图像为相同时域的图像。

步骤303、将颜色图像中每个像素的第一亮度值与主图像中对应位置处的像素的第二亮度值进行融合处理，并将颜色图像中每个像素的第一颜色值与主图像中对应位置处的像素的第二颜色值进行融合处理，得到目标图像。

在本申请实施例中，拍照终端110还可以包括存储器，该存储器中预先存储有颜色图像中每个像素在该颜色图像的位置与主图像中每个像素在该主图像的位置之间的对应关系。拍照终端中的处理器在获取到颜色图像和主图像后，可以根据该颜色图像中每个像素在该颜色图像的位置以及该对应关系，确定主图像中对应位置处的像素。之后，拍照终端中的处理器可以将该颜色图像中每个像素的第一亮度值与主图像中对应位置处的像素的第二亮度值进行融合处理，并将该颜色图像中每个像素的第一颜色值与主图像中对应位置处的像素的第二颜色值进行融合处理，得到目标图像。

可选的，拍照终端的处理器可以将颜色图像中每个像素的第一亮度值与主图像中对应位置处的像素的第二亮度值进行加权求和，并将颜色图像中每个像素的第一颜色值与主图像中对应位置处的像素的第二颜色值进行加权求和，得到目标图像，由此增大了主图像中每个像素的亮度值和颜色值，使得最终显示的目标图像的亮度和色彩更高，该显示的目标图像的效果更好。

其中，该第一亮度值的权重系数可以为w1，第二亮度值的权重系数可以为权重系数可以为w2。第一颜色值的权重系数可以为w3，第二颜色值的权重系数可以为w4。其中，该w1、w2、w3和w4均大于0且小于1的数，并且满足：w1+w2＝1，该w3+w4＝1。

在本申请实施例中，该颜色图像的分辨率小于或者等于主图像的分辨率，该主图像的分辨率等于目标图像的分辨率。

示例的，假设颜色图像的分辨率小于主图像的分辨率，且如图4所示，该颜色图像00包括P1至P4共四个像素。该主图像01包括P5至P12共八个像素。拍照终端中的处理器可以根据颜色图像00中像素P1的位置，从图4中确定主图像01中对应位置处的像素为像素P5和像素P6。根据颜色图像00中像素P2的位置，从图4中确定主图像01中对应位置处的像素为像素P7和像素P8。根据颜色图像00中像素P3的位置，从图4中确定主图像01中对应位置处的像素为像素P9和像素P10。根据颜色图像00中像素P4的位置，从图4中确定主图像01中对应位置处的像素为像素P11和像素P12。

之后，拍照终端的处理器可以将颜色图像中像素P1的第一亮度值L1与主图像中像素P5的第二亮度值L2进行加权求和，将加权求和得到的亮度值L3确定为目标图像中与该像素P5的位置相同的像素的亮度值。该亮度值L3满足：L3＝w1×L1+w2×L2。该目标图像中其他像素的亮度值的确定过程可以参考上述目标图像中与像素P5的位置相同的像素的亮度值的确定过程。

并且，处理器可以将颜色图像中像素P1的第一颜色值Y1与主图像中像素P5的第二颜色值Y2进行加权求和，将加权求和得到的颜色值Y3确定为目标图像中与该像素P5的位置相同的像素的颜色值。该颜色值Y3满足：Y3＝w3×

Y1+w4×Y2该目标图像中其他像素的颜色值的确定过程可以参考上述目标图像中与像素P5位置相同的像素的颜色值的确定过程。

示例的，假设颜色图像的分辨率等于主图像的分辨率，且如图5所示，颜色图像00包括P13至P16共四个像素。该主图像01包括P17至P20共四个像素。拍照终端的处理器可以根据颜色图像00中像素P13的位置，从图5中确定主图像01中位置处的像素为像素P17。根据颜色图像00中像素P14的位置，从图5中确定主图像01中对应位置处的像素为像素P18。根据颜色图像00中像素P15的位置，从图5中确定主图像01中对应位置处的像素为像素P19。根据颜色图像00中像素P16的位置，从图5中确定主图像01中对应位置处的像素为像素P20。

之后，拍照终端的处理器可以将颜色图像中像素P13的第一亮度值L1与主图像中像素P17的第二亮度值L2进行加权求和，将加权求和得到的亮度值L3确定为目标图像中与该像素P17的位置相同的像素的亮度值。该目标图像中其他像素的亮度值的确定过程可以参考上述目标图像中与像素P17的位置相同的像素的亮度值的确定过程。

并且，处理器可以将颜色图像中像素P13的第一颜色值Y1与主图像中像素P17的第二颜色值Y2进行加权求和，将加权求和得到的颜色值Y3确定为目标图像中与该像素P17的位置相同的像素的颜色值。该目标图像中其他像素的颜色值的确定过程可以参考上述目标图像中与像素P17的位置相同的像素的颜色值的确定过程，从而得到目标图像。

步骤304、显示目标图像。

在本申请实施例中，拍照终端110还可以包括显示屏。拍照终端中的处理器在得到目标图像之后，可以将该目标图像发送至显示屏。该显示屏在接收到该目标图像后，可以显示该目标图像。

步骤305、响应于针对目标图像的修饰指令，根据深度图像中每个像素的深度值，确定深度图像中的目标像素。

在本申请实施例中，参考图6，拍照终端的显示屏在显示目标图像02后，还可以显示修饰按钮03。拍照终端中的处理器在检测到用户针对该修饰按钮03的选择指令后，可以生成修饰指令。进而可以响应于该修饰指令，根据深度图像中每个像素的深度值，确定该深度图像中的目标像素。其中，该修饰按钮可以为背景虚化按钮，相应的，该修饰指令可以为背景虚化指令。或者，该修饰按钮可以为背景替换按钮，相应的，该修饰指令可以为背景替换指令。

可选的，拍照终端的存储器还可以存储有目标范围，拍照终端中的处理器可以响应于针对该目标图像的修饰指令后，获取深度图像中每个像素的深度值。并将该深度图像中深度值处于目标范围内的像素，确定为该深度图像中的目标像素。其中，该目标范围可以是处理器中预先存储的。

步骤306、根据目标像素在深度图像的位置，分别对目标图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

在本申请实施例中，拍照终端的存储器中还可以存储有深度图像中每个像素在该深度图像的位置与目标图像中每个像素在该目标图像的位置之间的对应关系。由于深度图像的分辨率与颜色图像的分辨率相同，目标图像的分辨率与主图像的分辨率相同，因此深度图像中每个像素在该深度图像的位置与目标图像中每个像素在该目标图像的位置之间的对应关系，与上述颜色图像中每个像素在该颜色图像的位置与主图像中每个像素在该主图像的位置之间的对应关系相同。

拍照终端中的处理器可以根据目标像素在该深度图像的位置以及该对应关系，确定目标图像中对应位置处的像素。之后，拍照终端中的处理器可以对该目标图像中与该目标像素的位置对应的像素的亮度值进行更新处理，并对该目标图像中与目标像素的位置对应的像素的颜色值进行更新处理，得到更新图像。之后，拍照终端中的处理器可以将该更新图像发送至显示屏，以使显示屏显示该更新图像。

示例的，假设深度图像的分辨率小于目标图像的分辨率，该深度图像包括的像素与颜色图像包括的像素相同，目标图像包括的像素与主图像包括的像素相同。若确定的目标像素包括像素P1和像素P2，则拍照终端中的处理器可以根据深度图像中像素P1的位置，从图4中确定目标图像中对应位置处的像素为像素P5和像素P6。根据深度图像中像素P2的位置，从图4中确定目标图像中对应位置处的像素为像素P7和像素P8。之后，拍照终端中的处理器可以对该目标图像中的像素P5、像素P6、像素P7和像素P8的亮度值进行更新处理。并对该目标图像中的像素P5、像素P6、像素P7和像素P8的颜色值进行更新处理，从而得到更新图像。

示例的，假设深度图像的分辨率等于目标图像的分辨率，该深度图像包括的像素与颜色图像包括的像素相同，目标图像包括的像素与主图像包括的像素相同。若确定出的目标像素为像素P13和像素P14，则拍照终端中的处理器可以根据深度图像中像素P13的位置，从图5中确定目标图像中对应位置处的像素为像素P17。根据深度图像中像素P14的位置，从图5中确定目标图像中对应位置处的像素为像素P18。之后，拍照终端中的处理器可以对该目标图像中的像素P17的亮度值和像素P18的亮度值进行更新处理。并对该目标图像中的像素P17的颜色值和像素P18的颜色值进行更新处理，从而得到更新图像。

在本申请实施例中，拍照终端的存储器中可以存储有一个亮度递减值和一个颜色递减值，若该修饰指令为背景虚化指令，拍照终端可以对目标图像中与该目标像素的位置对应的像素进行高斯模糊，且在进行高斯模糊的过程中，拍照终端中的处理器可以将该目标图像中与该目标像素的位置对应的像素的亮度值降低该亮度递减值，并将该目标图像中与该目标像素的位置对应的像素的颜色值降低该颜色递减值，从而得到更新图像。

示例的，拍照终端的处理器可以分别将如图4所示的目标图像中像素P5、像素P6、像素P7和像素P8的亮度值降低亮度递减值，并分别将该目标图像中的像素P5、像素P6、像素P7和像素P8的颜色值降低颜色递减值，从而得到更新图像。

或者，拍照终端的处理器可以分别将如图5所示的目标图像中的像素P17和像素P18的亮度值降低亮度递减值，并分别将该目标图像中的像素P17和像素P18的颜色值降低颜色递减值，从而得到更新图像。

若该修饰指令为背景替换指令，则拍照终端中的处理器在生成修饰指令后，可以显示多个背景图像。拍照终端中的处理器在检测到用户针对该多个背景图像中目标背景图像的选择指令后，可以将目标图像中与目标像素的位置对应的像素的亮度值，替换为目标背景图像中相同位置处的像素的亮度值。并将目标图像中与该目标像素的位置对应的像素的颜色值，替换为目标背景图像中相同位置处的像素的颜色值，从而得到更新图像。其中，该目标背景图像的分辨率与目标图像的分辨率相同。

示例的，拍照终端的处理器可以将如图4所示的目标图像中像素P5的亮度值替换为目标背景图像中与像素P5处于相同位置处的像素的亮度值。并将目标图像中的像素P5的颜色值替换为目标背景图像中与像素P5处于相同位置处的像素的颜色值。对该目标图像中像素P6、像素P7和像素P8的亮度值和颜色值进行更新处理的过程，可以参考对像素P5的亮度值和颜色值进行更新处理的过程，从而得到更新图像。

或者，拍照终端的处理器可以将如图5所示的目标图像中的像素P17的亮度值替换为目标背景图像中与像素P17处于相同位置处的像素的亮度值。并将该目标图像中的像素P17的亮度值替换为目标背景图像中与像素P17处于相同位置处的像素的颜色值，对该目标图像中像素P18的亮度值和颜色值进行更新处理的过程，可以参考对像素P17的亮度值和颜色值进行更新处理的过程，从而得到更新图像。

相较于相关技术中通过双目成像系统、结构光或者飞行时间(time of flight，TOF)等获取拍摄场景的深度图像，本申请通过光场摄像头获取拍摄场景的深度图像，可以降低成本，降低摄像头在拍照终端上所占用的空间，同时还可以降低拍照终端中的处理器的功耗。同时，光场摄像头获取到的深度图像中的深度值更为准确，因此确定的目标像素更为准确，得到的更新图像的效果更好。

需要说明的是，本公开实施例提供的图像处理方法步骤的先后顺序可以进行适当调整，例如，步骤304至步骤306可以删除。任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本公开的保护范围之内，因此不再赘述。

综上所述，本申请实施例提供了一种图像处理方法，该图像处理方法可以获取拍摄场景的颜色图像和主图像，并可以根据该颜色图像对该主图像进行融合处理，得到目标图像。由于最终获取的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，相较于相关技术中最终显示的是摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

图7是本申请实施例提供的又一种图像处理方法的流程图。该图像处理方法可以应用于图1所示的拍照终端110中。该拍照终端110可以包括处理器，以及位于拍照终端110的同一面的光场摄像头111和主摄像头112。如图7所示，该方法可以包括：

步骤701、获取光场摄像头拍摄得到的拍摄场景的深度图像。

该步骤701的实现过程可以参考上述步骤301的描述，本申请实施例在此不再赘述。

步骤702、获取主摄像头拍摄得到的拍摄场景的主图像。

其中，该主图像可以包括该主图像中每个像素的第二亮度值和第二颜色值。该第二颜色值可以为RGB颜色值。

该步骤702的实现过程可以参考上述步骤302的描述，本申请实施例在此不再赘述。

步骤703、根据深度图像中每个像素的深度值，确定深度图像中的目标像素。

该步骤703的实现过程可以参考上述步骤305的描述，本申请实施例在此不再赘述。

步骤704、根据目标像素在深度图像的位置，分别对主图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

该步骤704的实现过程可以参考上述步骤306的描述，本申请实施例在此不再赘述。

综上所述，本申请实施例提供了一种图像处理方法，由于该图像处理方法可以根据获取的深度图像中目标像素在该深度图像的位置，分别对获取的主图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。相较于相关技术中直接显示的是摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

图8是本申请实施例提供的另一种拍照终端的结构示意图。如图1和图8所示，该拍照终端110可以包括处理器113，以及位于拍照终端110的同一面的光场摄像头111和主摄像头112。

光场摄像头111，用于响应于拍摄指令，获取拍摄场景的颜色图像，并将颜色图像发送至处理器，该颜色图像可以包括颜色图像中每个像素的第一亮度值和第一颜色值。

主摄像头112，用于响应于拍摄指令，获取拍摄场景的主图像，并将主图像发送至处理器，主图像包括主图像中每个像素的第二亮度值和第二颜色值。

处理器113，用于根据颜色图像对主图像进行融合处理，得到目标图像。

综上所述，本申请实施例提供了一种拍照终端，该拍照终端可以响应于拍摄指令，获取拍摄场景的颜色图像和主图像，并可以根据该颜色图像对该主图像进行融合处理，得到目标图像。由于最终获取的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，相较于相关技术中最终显示的是摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

可选的，处理器113，用于：

将颜色图像中每个像素的第一亮度值与主图像中对应位置处的像素的第二亮度值进行融合处理，并将颜色图像中每个像素的第一颜色值与主图像中对应位置处的像素的第二颜色值进行融合处理，得到目标图像。

可选的，处理器113，用于：

将颜色图像中每个像素的第一亮度值与主图像中对应位置处的像素的第二亮度值进行加权求和，并将颜色图像中每个像素的第一颜色值与主图像中对应位置处的像素的第二颜色值进行加权求和，得到目标图像。

可选的，光场摄像头111，还用于：

响应于拍摄指令，获取拍摄场景的深度图像，深度图像包括深度图像中每个像素的深度值。

处理器113，还用于：

根据深度图像中每个像素的深度值，确定深度图像中的目标像素。

根据目标像素在深度图像的位置，分别对目标图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

可选的，参考图9，该拍照终端还包括显示屏114。

显示屏114，用于显示目标图像。

处理器113，用于响应于针对目标图像的修饰指令，根据深度图像中每个像素的深度值，确定深度图像中的目标像素。

可选的，处理器113，用于将深度图像中深度值处于目标范围内的像素，确定为深度图像中的目标像素。

综上所述，本申请实施例提供了一种拍照终端，该拍照终端可以响应于拍摄指令，获取拍摄场景的颜色图像和主图像，并可以根据该颜色图像对该主图像进行融合处理，得到目标图像。由于最终获取的目标图像是根据颜色图像对主图像进行融合处理得到的，因此增强了最终显示的目标图像的亮度和色彩，相较于相关技术中最终显示的是摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

参考图8，该光场摄像头111，用于响应于拍摄指令，获取拍摄场景的深度图像，并将深度图像发送至处理器113。其中，该深度图像包括深度图像中每个像素的深度值。

主摄像头112，用于响应于拍摄指令，获取拍摄场景的主图像，并将主图像发送至处理器113。该主图像包括主图像中每个像素的第二亮度值和第二颜色值。

处理器113，用于根据深度图像中每个像素的深度值，确定深度图像中的目标像素。根据目标像素在深度图像的位置，分别对目标图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

综上所述，本申请实施例提供了一种拍照终端，该拍照终端可以根据获取的深度图像中目标像素在该深度图像的位置，分别对获取的主图像中与目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。相较于相关技术中直接显示的是摄像头拍摄的图像，本申请提供的图像处理方法最终显示的目标图像的效果更好。

图10本申请实施例提供的另一种拍照终端的结构示意图，如图10所示，该拍照终端110可以包括：显示单元130、存储器140、射频(radio frequency，RF)电路150、音频电路160、无线保真(wireless fidelity，Wi-Fi)模块170、蓝牙模块180、电源190、光场摄像头111、主摄像头112和处理器113等部件。

其中，光场摄像头111和主摄像头112可用于捕获静态图片或视频。物体通过镜头生成光学图片投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给处理器113转换成数字图片信号。

处理器113是拍照终端110的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器140内的软件程序，以及调用存储在存储器140内的数据，执行拍照终端110的各种功能和处理数据。在一些实施例中，处理器113可包括一个或多个处理单元；处理器113还可以集成应用处理器和基带处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，基带处理器主要处理无线通信。可以理解的是，上述基带处理器也可以不集成到处理器113中。本申请中处理器113可以运行操作系统、应用程序、用户界面显示及触控响应，以及本申请实施例所述的图像处理方法。另外，处理器113与输入单元和显示单元130耦接。

显示单元130可用于接收输入的数字或字符信息，产生与拍照终端110的用户设置以及功能控制有关的信号输入，可选的，显示单元130还可以用于显示由用户输入的信息或提供给用户的信息以及拍照终端110的各种菜单的图形用户界面(graphical userinterface，GUI)。显示单元130可以包括设置在拍照终端110正面的显示屏114。其中，显示屏114可以采用液晶显示器、发光二极管等形式来配置。显示单元130可以用于显示本申请中所述的各种图形用户界面。

显示单元130包括：显示屏114和设置在拍照终端110正面的触摸屏132。该显示屏114可以用于显示预览图片。触摸屏132可收集用户在其上或附近的触摸操作，例如点击按钮，拖动滚动框等。其中，触摸屏132可以覆盖在显示屏114之上，也可以将触摸屏132与显示屏114集成而实现拍照终端110的输入和输出功能，集成后可以简称触摸显示屏。

存储器140可用于存储软件程序及数据。处理器113通过运行存储在存储器140的软件程序或数据，从而执行拍照终端110的各种功能以及数据处理。存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。存储器140存储有使得拍照终端110能运行的操作系统。本申请中存储器140可以存储操作系统及各种应用程序，还可以存储执行本申请实施例所述图像处理方法的代码。

RF电路150可用于在收发信息或通话过程中信号的接收和发送，可以接收基站的下行数据后交给处理器113处理；可以将上行数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等器件。

音频电路160、扬声器161、麦克风162可提供用户与拍照终端110之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出。拍照终端110还可配置音量按钮，用于调节声音信号的音量。另一方面，麦克风162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出至RF电路150以发送给比如另一终端，或者将音频数据输出至存储器140以便进一步处理。本申请中麦克风162可以获取用户的语音。

Wi-Fi属于短距离无线传输技术，拍照终端110可以通过Wi-Fi模块170帮助用户收发电子邮件、浏览网页和访问流媒体等，它为用户提供了无线的宽带互联网访问。

蓝牙模块180，用于通过蓝牙协议来与其他具有蓝牙模块的蓝牙设备进行信息交互。例如，拍照终端110可以通过蓝牙模块180与同样具备蓝牙模块的可穿戴电子设备(例如智能手表)建立蓝牙连接，从而进行数据交互。

拍照终端110还包括给各个部件供电的电源190(比如电池)。电源可以通过电源管理系统与处理器113逻辑相连，从而通过电源管理系统实现管理充电、放电以及功耗等功能。拍照终端110还可配置有电源按钮，用于终端的开机和关机，以及锁屏等功能。

拍照终端110可以包括至少一种传感器1110，比如运动传感器11101、距离传感器11102、指纹传感器11103和温度传感器11104。拍照终端110还可配置有陀螺仪、气压计、湿度计、温度计和红外线传感器等其他传感器。

图11是本申请实施例提供的拍照终端的软件结构框图。分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。如图11所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图11所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图片，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供拍照终端110的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，通信终端振动，指示灯闪烁等。

android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：openGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图片文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图片渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当计算机可读存储介质在计算机上运行时，使得计算机执行如图2、图3或图7所示的图像处理方法。

以上所述仅为本公开的可选实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (8)

1.一种拍照终端，其特征在于，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；

所述光场摄像头，用于响应于拍摄指令，获取拍摄场景的颜色图像，并将所述颜色图像发送至所述处理器，所述颜色图像包括所述颜色图像中每个像素的第一亮度值和第一颜色值；

所述主摄像头，用于响应于所述拍摄指令，获取所述拍摄场景的主图像，并将所述主图像发送至所述处理器，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

所述处理器，用于根据所述颜色图像对所述主图像进行融合处理，得到目标图像；

所述光场摄像头，还用于：

响应于所述拍摄指令，获取所述拍摄场景的深度图像，所述深度图像包括所述深度图像中每个像素的深度值；

所述处理器，还用于：

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述目标图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

2.根据权利要求1所述的拍照终端，其特征在于，所述处理器，用于：

将所述颜色图像中每个像素的所述第一亮度值与所述主图像中对应位置处的像素的所述第二亮度值进行融合处理，并将所述颜色图像中每个像素的所述第一颜色值与所述主图像中对应位置处的像素的所述第二颜色值进行融合处理，得到目标图像。

3.根据权利要求2所述的拍照终端，其特征在于，所述处理器，用于：

将所述颜色图像中每个像素的所述第一亮度值与所述主图像中对应位置处的像素的所述第二亮度值进行加权求和，并将所述颜色图像中每个像素的所述第一颜色值与所述主图像中对应位置处的像素的所述第二颜色值进行加权求和，得到目标图像。

4.根据权利要求1至3任一所述的拍照终端，其特征在于，所述拍照终端还包括：显示屏；

所述显示屏，用于显示所述目标图像；

所述处理器，用于响应于针对所述目标图像的修饰指令，根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素。

5.根据权利要求4所述的拍照终端，其特征在于，所述拍照 终端还包括：存储器；

所述处理器，用于将所述深度图像中深度值处于目标范围内的像素，确定为所述深度图像中的目标像素，所述目标范围存储在所述存储器中；

其中，所述拍摄指令是所述处理器同时发送至所述光场摄像头和所述主摄像头的。

6.一种拍照终端，其特征在于，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；

所述光场摄像头，用于响应于拍摄指令，获取拍摄场景的深度图像，并将所述深度图像发送至所述处理器，其中，所述深度图像包括所述深度图像中每个像素的深度值；

所述主摄像头，用于响应于所述拍摄指令，获取所述拍摄场景的主图像，并将所述主图像发送至所述处理器，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

所述处理器，用于根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；根据所述目标像素在所述深度图像的位置，分别对所述主图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

7.一种图像处理方法，其特征在于，应用于拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；所述方法包括：

获取所述光场摄像头拍摄得到的拍摄场景的颜色图像，所述颜色图像包括所述颜色图像中每个像素的第一亮度值和第一颜色值；

获取所述主摄像头拍摄得到的拍摄场景的主图像，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

根据所述颜色图像对所述主图像进行融合处理，得到目标图像；

所述方法还包括：

获取所述光场摄像头拍摄得到的拍摄场景的深度图像，所述深度图像包括所述深度图像中每个像素的深度值；

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述目标图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到更新图像。

8.一种图像处理方法，其特征在于，应用于拍照终端，所述拍照终端包括：处理器，以及位于所述拍照终端的同一面的光场摄像头和主摄像头；所述方法包括：

获取所述光场摄像头拍摄得到的拍摄场景的深度图像，其中，所述深度图像包括所述深度图像中每个像素的深度值；

获取所述主摄像头拍摄得到的拍摄场景的主图像，所述主图像包括所述主图像中每个像素的第二亮度值和第二颜色值；

根据所述深度图像中每个像素的深度值，确定所述深度图像中的目标像素；

根据所述目标像素在所述深度图像的位置，分别对所述主图像中与所述目标像素的位置对应的像素的亮度值和颜色值进行更新处理，得到目标图像。

Images