CN114245011A - 图像处理方法、用户界面及电子设备 - Google Patents

Abstract

本申请公开了图像处理方法、用户界面与电子设备，该方法应用于包含TOF摄像头和彩色摄像头的电子设备。该方法包括：电子设备利用TOF摄像头，在开启和关闭红外投射器时采集包含目标人物的红外图像IR1、IR2，利用彩色摄像头采集包含目标人物的彩色图像，通过对红外图像IR1和红外图像IR2进行差分处理，获得去除背景的前景图像，再根据该前景图像中目标人物所在的前景区域，确定彩色图像中的前景区域，从而实现彩色图像中人像与背景分离的效果，获得仅包含或仅突出人像的人物图像。该方法实现了目标人物所在前景和背景在图像中的快速分割，为现有的人像分割技术提供了新的思路，改进了人像分割的不足，扩大了人像分割的应用场景。

Description

图像处理方法、用户界面及电子设备

技术领域

本申请涉及终端及通信技术领域，尤其涉及图像处理方法、用户界面及电子设备。

背景技术

随着智能移动设备的发展，用户不再仅仅满足于智能移动设备上简单的拍摄功能，而是拍摄功能与丰富的图像处理技术的结合应用。人像分割是一种将人像从图像中分离出来的技术，在智能移动设备中的人像背景虚化，图像背景替换等图像处理方面有着广泛的应用。但是，由于拍摄过程中的光线、物体颜色、物体移动、设备抖动等因素的影响，容易出现人像分割错误、分割边缘模糊等等分离效果不佳的现象。因此，如何改善人像分割的不足，是目前亟待解决的问题。

发明内容

本申请提供了图像处理方法、用户界面及电子设备，可利用彩色摄像头采集的彩色图像以及飞行时间TOF摄像头采集的红外图像，确定彩色图像中目标人物所在的前景区域，实现精准且快速的人像分割。

第一方面，本申请提供了一种图像处理方法，该方法应用于包括彩色摄像头和飞行时间TOF摄像头的电子设备，该方法包括：电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的第一红外图像和第二红外图像；第一红外图像由TOF摄像头提供红外光时采集得到，第二红外图像由TOF摄像头未提供红外光时采集得到；电子设备使用第二红外图像对第一红外图像做差分处理，得到第三红外图像；电子设备根据第三红外图像中像素值大于第一值的第一区域的位置，确定第一彩色图像中的第一物体所在的第二区域；电子设备保留第一彩色图像中第二区域的像素值，更改第一区域以外的像素值，得到第二彩色图像。

实施第一方面的方法，电子设备可以利用开启和关闭红外光源时，第一物体(例如目标人物)所在前景范围的成像区别，实现第一物体所在的前景与背景在图像中的快速分割，从而获得仅包含或仅突出第一物体的图像。在具体应用中，该图像处理方法可以应用于人像和背景的快速分割，从而获得仅包含或仅突出人像的人物图像，为人像分割技术提供新的思路，改进人像分割的不足。

结合第一方面，在一种实施方式中，第二区域在第一彩色图像中的位置和大小，与，第一区域在第三红外图像中的位置和大小，相同。

也即是说，在电子设备确定红外图像中的第一物体(例如目标人物)所在的第一区域后，可以忽略摄像头的物理位置对图像的影响，这时红外摄像头与TOF摄像头采集的图像中，第一物体在图像中的位置相同。电子设备可以根据第一区域在第三红外图像的大小和位置，确定第一彩色图像中相同大小和位置的第一物体所在的第二区域。这样，可以快速地根据红外图像中的前景区域，确定彩色图像中的目标人物所在的前景区域。

结合第一方面，在一种实施方式中，电子设备确定第一彩色图像中的第一物体所在的第二区域，具体包括：电子设备利用彩色摄像头和TOF摄像头的标定参数，在坐标系中以第一彩色图像为参考，调整第三红外图像的位置，使得第三红外图像中的第一物体，和，第一彩色图像中的第一物体，的位置相同；电子设备确定第一彩色图像中第一物体所在的第二区域；第二区域在坐标系中的位置和大小，与，第一区域在坐标系中的位置和大小，相同。

也即是说，在电子设备确定红外图像中的第一物体(例如目标人物)所在的第一区域后，可以考虑摄像头的物理位置对图像的影响，这时红外图像与TOF摄像头采集的图像中，第一物体在图像中的位置不同。那么，电子设备可以先利用摄像头的标定参数对齐不同摄像头采集的图像，在对齐图像后再根据第一区域确定第二区域，从而实现更加精准的人像分割。

结合第一方面，在一种实施方式中，第一红外图像和第二红外图像中均包括电子设备使用TOF摄像头在N个曝光时间下采集的图像，电子设备使用第二红外图像对第一红外图像做差分处理，得到第三红外图像，具体包括：电子设备针对每个曝光时间，使用第二红外图像对第一红外图像做差分处理，获得N张图像，将N张图像中清晰度最高的图像确定为第三红外图像。

具体地，在电子设备采集红外图像时，电子设备可以在多个曝光时间下采集多个红外图像，从而获得多个差分处理后的红外图像，并从中选出最清晰的图像来确定第一物体所在的第一区域，这样，可以提高第一区域的准确度，进而提高人像分割的精度。

结合第一方面，在一种实施方式中，N个曝光时间为电子设备预置的参数。

也即是说，电子设备可以预存有这N个曝光时间，在电子设备检测到拍摄操作时，即可根据预存的这N个曝光时间，拍摄N组红外图像。

结合第一方面，在一种实施方式中，电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的第一红外图像和第二红外图像之前，方法还包括：电子设备在小于第二值的光照强度下，利用TOF摄像头采集图像，在TOF摄像头采集的图像参数位于预设范围时，获取TOF摄像头的第一曝光时间；电子设备在大于第三值的光照强度下，利用TOF摄像头采集图像，在TOF摄像头采集的图像参数位于预设范围时，获取TOF摄像头的第二曝光时间；电子设备在第一曝光时间和第二曝光时间所在的范围内选取N个曝光时间。

具体地，可以在对电子设备进行出厂测试时，将电子设备分别置于强光环境和暗光环境下，在TOF摄像头启动自动曝光时采集图像，从而确定这N个曝光时间。其中，电子设备获取两种极端环境，即暗光环境和强光环境下，TOF摄像头采集图像时的曝光时间，即可确定两种极端光照强度下，曝光时间的最大值和最小值，从而涵盖实际拍摄过程中的不同光照强度下，TOF摄像头可以使用的曝光时间范围。

结合第一方面，在一种实施方式中，电子设备确定第一彩色图像中的第一物体所在的第二区域之前，方法还包括：电子设备使用TOF摄像头采集包含第一物体的深度图像；电子设备识别第一彩色图像中部分或全部第一物体所在的第三区域；电子设备根据第三区域在第一彩色图像中的位置，确定深度图像中部分或全部第一物体所在的第四区域；电子设备确定深度图像中的第五区域，第五区域的深度值与第四区域的深度值的差值小于第四值；电子设备根据第三红外图像中像素值大于第一值的第一区域的位置，确定第一彩色图像中的第一物体所在的第二区域，具体包括：电子设备根据第六区域在第三红外图像中的位置，确定第一彩色图像中的第二区域，第六区域包括第三红外图像中第一区域与第七区域的交集，第七区域在第三红外图像中的位置和大小，与，第五区域在深度图像中的位置和大小，相同。

电子设备在利用TOF摄像头拍摄红外图像的过程中，还可以利用TOF摄像头拍摄并获得包含目标人物的深度图像。电子设备可以结合彩色图像和深度图像确定深度图像中目标人物所在的前景区域，并根据该前景区域进一步校准前景图像中目标人物所在的前景区域，提高彩色图像中人像分割的精确度。

结合第一方面，在一种实施方式中，电子设备使用彩色摄像头采集包含第一物体的第一彩色图像，使用TOF摄像头采集包含第一物体的第一红外图像和第二红外图像之前，方法还包括：电子设备显示拍照预览界面；电子设备检测到拍摄操作；电子设备得到第二彩色图像之后，方法还包括：电子设备保存第二彩色图像。

也即是说，电子设备可以在检测到用户拍照的操作时启动TOF摄像头和彩色摄像头采集图像，并利用TOF摄像头和彩色摄像头采集的图像获得一张仅包含或仅突出第一物体的彩色图像。

结合第一方面，在一种实施方式中，电子设备根据第一彩色图像获得第二彩色图像之后，方法还包括：电子设备检测到第一操作，显示第二彩色图像。

其中，该第一操作可以是指在拍摄界面中，作用于图库快捷控件的操作。

第二方面，本申请提供了一种电子设备，包括存储器，一个或多个处理器，以及一个或多个程序；一个或多个处理器在执行一个或多个程序时，使得电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

第三方面，本申请提供了一种计算机可读存储介质，包括指令，当指令在电子设备上运行时，使得电子设备执行如第一方面或第一方面的任意一种实施方式所描述的方法。

第四方面，本申请提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第一方面的任意一种实施方式所描述的方法。

实施本申请实施例提供的方法，电子设备可以利用开启和关闭红外光源时的成像差异，确定位于前景的目标人物所在的区域，从而实现目标人物与背景的分割，并且，无需额外增加处理器的运算能力，仅通过红外投射器的交叉打光，即可达到人像分割的目的，分割效果也不易受到光线和物体颜色的影响，扩大了人像分割的应用场景。

附图说明

图1为本申请实施例提供的电子设备的硬件结构示意图；

图2为本申请实施例提供的电子设备的背面示意图；

图3为本申请实施例提供的电子设备的软件结构示意图；

图4A-图4D为本申请实施例提供的一些用户界面；

图5为本申请实施例提供的图像处理方法的流程示意图；

图6-图9为本申请实施例提供的图像处理过程的示意图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请以下实施例中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage，XML)等特定计算机语言编写的源代码，界面源代码在电子设备上经过解析，渲染，最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。

为了实现人像分割，一种技术方案是利用摄像头获取人物的深度图像和彩色图像，并将该深度图像和彩色图像输入到训练好的人像分割模型中，该人像分割模型是利用深度学习类算法，训练大量已知人像所在区域的彩色图像样本和其对应的深度图像样本得到的模型，最后，根据人像分割模型的输出得到人物在彩色图像中所在的区域，从而实现人像分割的目的。

但是，由于实际拍摄过程中人物和背景多种多样，而人像分割模型是通过有限的样本数据训练得来的，这就导致不同图像的人像分割效果差异较大。另外，当图像中的背景和人物所在的前景颜色接近、拍摄时光照强度较大或拍摄背景复杂时，甚至可能无法实现人像分割。因此，如何改进人像分割的不足，是目前亟待解决的问题。

本申请实施例提供了一种图像处理方法，该方法应用于包含飞行时间(Time ofFlight，TOF)摄像头和彩色摄像头的电子设备。该方法包括：电子设备响应于拍摄操作，利用TOF摄像头和彩色摄像头拍摄多张包含目标人物的图像，其中，电子设备利用TOF摄像头在开启和关闭TOF摄像头的红外投射器时，分别采集红外图像IR1、IR2，并对红外图像IR1、IR2进行差分处理，从而获得去除背景后的前景图像，最后，根据该前景图像中目标人物所在的前景区域确定彩色摄像头采集的彩色图像中的人像区域，从而实现人像与背景分离的效果，获得仅包含或仅突出人像的人物图像。

其中，彩色摄像头也称为普通摄像头，用于采集彩色图像，彩色图像也称为RGB图像，是指图像中的每个像素值都分成R(Red)、G(Green)、B(Blue)三个基色分量，R、G、B再由不同的灰度级来描述，从而使彩色图像展现出丰富多彩的颜色，使彩色图像中显示的内容尽可能地还原人眼看到的画面。

TOF摄像头在拍摄的过程中，可以通过红外投射器向外发射红外光，红外光在遇到物体后会反射并被TOF摄像头采集，或者物体自身发射的红外光被TOF摄像头采集，TOF摄像头对采集到的红外光进行成像后得到图像即为红外图像。利用红外光从发射到反射回TOF摄像头的时间差或相位差既可计算出反映物体与摄像头距离的深度数据，TOF摄像头生成的包含该深度数据的图像即为TOF相机采集获得的深度图像。

红外投射器作为一个提供发光源的器件，关闭红外投射器进行拍摄时，不存在电子设备提供的红外光源，这时TOF摄像头采集的红外图像仅仅由物体自身发射的红外光在TOF摄像头上成像获得，开启红外投射器进行拍摄时，存在电子设备提供的红外光源，这时TOF摄像头采集的红外图像由物体自身发射的红外光，以及红外投射器发出并在目标人物上反射回来的红外光，在TOF摄像头上成像获得。也就是说，通过对红外图像IR1、IR2进行差分处理即可获得仅包含目标人物所在的前景区域的前景图像。

在一些实施例中，电子设备可以利用TOF摄像头在N个曝光时间下采集N组红外图像，每组红外图像中都包括开启和关闭红外投射器时采集的红外图像，这时红外图像IR1和红外图像IR2均包含电子设备在N个曝光时间下采集的图像。电子设备可以对每个曝光时间下采集的红外图像IR1和红外图像IR2做差分处理，从而获得N个前景图像，电子设备可以从中选取清晰度最高的前景图像来确定彩色图像中的人像区域，从而增加人像分割的精度。具体关于N个曝光时间的描述可以参见后续内容，这里先不赘述。

在一些实施例中，电子设备在利用TOF摄像头拍摄红外图像的过程中，还可以利用TOF摄像头拍摄并获得包含目标人物的深度图像。电子设备可以结合彩色图像和深度图像确定深度图像中目标人物所在的前景区域，并根据该前景区域进一步校准前景图像中目标人物所在的前景区域，提高彩色图像中人像分割的精确度。具体关于电子设备利用深度图像和彩色图像校准前景图像的描述可以参见后续内容，这里先不赘述。

总的来说，本申请实施例提供的图像处理方法运用了开启和关闭自发光源时，目标人物所在的前景范围的成像区别，实现了目标人物所在的前景与背景在图像中的快速分割，为现有的人像分割技术提供了新的思路，改进了人像分割的不足，并且，无需额外增加处理器的运算能力，仅通过红外投射器的交叉打光，即可达到人像分割的目的，分割效果也不易受到光线和物体颜色的影响，扩大了人像分割的应用场景。

图1示出了电子设备100的硬件结构示意图。

电子设备100可以是手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，PDA)、增强现实(augmentedreality，AR)设备、虚拟现实(virtual reality，VR)设备、人工智能(artificialintelligence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备，本申请实施例对该电子设备的具体类型不作特殊限制。

电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

在一些实施例中，处理器110可用于对电子设备100采集的红外图像做差分处理，并获得去除背景的前景图像，并从多张前景图像出选出一张最清晰的前景图像，根据前景图像中目标人物所在的前景范围找到彩色图像中的人像范围，实现彩色图像中人像与背景的分离。具体关于差分处理、彩色图像中人像与背景的分离的描述可以参见后续内容，这里先不展开。

充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)。显示面板还可以采用有机发光二极管(organiclight-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flexlight-emitting diode，FLED)，miniled，microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，QLED)等制造。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。

在一些实施例中，显示屏194可用于显示摄像头实时采集的图像、电子设备100进行人像分割处理后的彩色图像以及拍摄过程中与拍摄有关的用户界面。具体关于显示194显示的内容可以参见后续内容，这里先不展开。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在一些实施例中，摄像头193可以包括TOF摄像头以及彩色摄像头，具体关于TOF摄像头以及彩色摄像头的描述可以参见前述内容，这里不再赘述。

图2示例性示出了电子设备100的背面示意图。如图2所示，电子设备100可以包括彩色摄像头193-1和TOF摄像头193-2，其中TOF摄像头193-2还包括红外投射器001，红外投射器001用于为TOF摄像头193-2拍摄过程中提供红外光源，彩色摄像头193-1用于采集彩色图像，TOF摄像头193-2用于采集红外图像以及深度图像，具体关于TOF摄像头、彩色摄像头、红外图像、深度图像以及彩色图像的描述可以参见前述内容，这里不再赘述。

需要注意的是，图2只是示例性示出了电子设备100包含的摄像头的结构，本申请实施例不限制电子设备100包含的摄像头的数量、类型以及位置。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。在一些实施例中，NPU可以利用人脸检测算法识别出彩色图像中包含的人脸。

内部存储器121可以包括一个或多个随机存取存储器(random access memory，RAM)和一个或多个非易失性存储器(non-volatile memory，NVM)。

在一些实施例中，内部存储器121可用于存储本申请实施例提供的图像处理方法所需的参数，例如标定参数，曝光时间，其中，标定参数为摄像头标定过程中获得内参和外参，电子设备100可根据该标定参数对齐不同摄像头采集的图像，曝光时间为光投射到摄像头感光元件上，快门所要打开的时间，曝光时间越长，感光元件上捕捉的光越多，曝光时间越短，感光元件上捕捉的光越少。电子设备100可以预存N个曝光时间，并利用TOF摄像头在这N个曝光时间下采集N组红外图像。另外，内部存储器121还可用于存储红外图像、深度图像、彩色图像以及利用这些图像处理过程中的其他图像。具体关于标定参数以及曝光时间的获取可以参见后续内容，这里先不展开。

外部存储器接口120可以用于连接外部的非易失性存储器，实现扩展电子设备100的存储能力。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器180B可以用于确定电子设备100的运动姿态。

气压传感器180C用于测量气压。

磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。

接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。在一些实施例中，电子设备100可以通过环境光传感器180L获取光照强度。

指纹传感器180H用于采集指纹。温度传感器180J用于检测温度。

触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在一些实施例中，电子设备100可以通过触摸传感器180K检测到拍摄的用户操作。

骨传导传感器180M可以获取振动信号。按键190包括开机键，音量键等。马达191可以产生振动提示。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。

电子设备可以是搭载iOS、Android、Microsoft或者其它操作系统的便携式终端设备，例如手机、平板电脑、可穿戴设备等，还可以是具有触敏表面或触控面板的膝上型计算机(Laptop)、具有触敏表面或触控面板的台式计算机等非便携式终端设备。电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图3是本申请实施例的电子设备100的软件结构示意图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。

应用程序层可以包括一系列应用程序包。

如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

其中，相机应用程序可用于显示摄像头实时采集的图像，提供多种拍摄模式，例如，拍照、录像、人像等等，其中，人像模式可用于拍摄并获得仅包含或仅突出人像的图像。相机应用程序还可以检测到拍摄操作，开启摄像头采集并获得照片或视频。图库应用程序可用于显示和管理电子设备100存储的照片或视频，电子设备100可以在运行相机应用程序时，检测到用户开启图库应用程序的操作，运行图库应用程序，并显示图库应用程序中包含的照片或视频。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。

Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。在一些实施例中，当电子设备100检测到用户的拍摄操作时，电子设备100可以通过摄像头驱动开启TOF摄像头以及彩色摄像头，控制TOF摄像头以及彩色摄像头采集图像。

下面结合捕获拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。

图4A-图4D示例性示出了本申请实施例提供的一些用户界面。

图4A示例性示出了电子设备100开启相机应用程序后，相机应用程序提供的用户界面10。用户界面10可以是相机应用程序的默认拍照的用户界面。该默认拍照模式可以是默认后置摄像头的拍照模式，也可以是其他，这里不作限制。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序，本申请实施例对该应用程序的名称不做限制。

如图4A所示，用户界面10可以包括：预览框101、相机模式选项102、图库快捷控件103、快门控件104、摄像头翻转控件105。其中：

预览框101可用于显示摄像头193实时采集的图像。电子设备100可以实时刷新其中的显示内容，以便用户预览摄像头193当前采集的图像。

相机模式选项102中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括专业模式选项102A、录像模式选项102B、拍照模式选项102C、人像模式选项102D、更多选项102E。当检测到作用于拍摄模式选项上的用户操作，电子设备100可以开启用户选择的拍摄模式。特别的，当检测到作用于更多选项102E的用户操作，电子设备100可以进一步显示更多的其他拍摄模式选项，如慢动作拍摄模式选项等等，可以向用户展示更丰富的拍摄功能。不限于图4A所示，相机模式选项102可以不显示更多选项102E，用户可以通过在相机模式选项102中向左/右滑动来浏览其他拍摄模式选项。

图库快捷控件103可用于开启图库应用程序。响应于作用于图库快捷控件103的用户操作，例如点击操作，电子设备100可以开启图库应用程序。这样，用户可以便捷地查看拍摄的照片和视频，而无需先退出相机应用程序，再开启图库应用程序。图库应用程序时智能手机、平板电脑等电子设备上的一款图片管理的应用程序，又可以称为“相册”，本实施例对该应用程序的名称不做限制。图库应用程序可以支持用户对存储于电子设备100上的图片进行各种操作，例如浏览、编辑、删除、选择等操作。另外，电子设备100还可以在图库快捷控件103中显示所保存的图像的缩略图。

快门控件104可用于监听触发拍摄的用户操作，响应于该操作，电子设备100可以将预览框101中的图像保存为图库应用程序中的图片，或者开始录制视频。

摄像头翻转控件105可用于监听触发翻转摄像头的用户操作，响应于该操作，电子设备100可以翻转摄像头，例如将后置摄像头切换为前置摄像头。

需要的注意的是，不限于作用于相机应用程序打开用户界面10，用户还可以通过其他应用程序打开用户界面10，例如用户在“微信”中点击拍摄控件来打开用户界面10。“微信”是一款社交类应用程序，可支持用户向他人分享所拍摄的照片等。

当电子设备100检测到作用于如图4A所示的人像模式选项102D的用户操作时，响应于该操作，电子设备100显示如图4B所示的用户界面10，切换电子设备100的拍摄模式。

如图4B所示，人像模式选项102D处于选中状态，电子设备100将拍摄模式切换到人像模式，该人像模式可用于拍摄并获得仅包含或仅突出人像的图像。其中，预览框101中显示的图像可以为彩色摄像头，例如图2所示的彩色摄像头193-1，实时采集的图像。

当电子设备100检测作用于如图4B所示的快门控件104的用户操作时，响应于该操作，电子设备100利用彩色摄像头和TOF摄像头采集图像。示例性地，该彩色摄像头可以为图2所示的彩色摄像头193-1，该TOF摄像头可以为图2所示的TOF摄像头193-2。具体地，电子设备100可以利用彩色摄像头获取彩色图像，利用TOF摄像头获取红外图像，并根据该彩色图像和红外图像获取人物图像，并将该人物图像保存到图库中。

在一些实施例，当电子设备100检测作用于如图4B所示的快门控件104的用户操作时，响应于该操作，电子设备100还可以利用TOF摄像头获取深度图像，并在根据彩色图像和红外图像获取人物图像时，进一步结合该深度图像来获取该人物图像，提高人像分割的精度。

如图4C所示，当电子设备100根据彩色摄像头和TOF摄像头获得仅包含人像的人物图像后，电子设备100可以将该人物图像以照片的形式保存在图库中，同时，图库快捷控件103可以显示该照片的缩略图。

当电子设备100检测到作用于图库快捷控件103的用户操作，响应于该操作，电子设备100显示如图4D所示的用户界面20，该用户界面20用于显示电子设备100保存在图库中的照片。

如图4D所示，用户界面20可以包括：返回控件201、预览框202和功能项203。其中：返回控件201用于退出当前用户界面20，返回到上一级用户界面，例如用户界面10。预览框202用于显示电子设备100最新拍摄或最近保存的照片或视频。功能项203可以包括一个或多个功能选项，这一个或多个功能选项可以包括：分享选项203A、编辑选项203B、删除选项203C、更多选项203D。电子设备100可以通过这一个或多个功能选项对预览框202中显示的图片或视频进行进一步的操作，包括：分享、编辑、删除或其他更多操作。

通过对比图4C的预览框101中显示的图像和图4D的预览框202中显示图像可以看出，电子设备100通过摄像头实时采集的图像，即图4C的预览框101中显示的图像，包含有属于前景的人物和属于背景的风景，但是电子设备100保存的图片，即图4D的预览框202中显示的图像，只包含属于前景的人物。也就是说，当用户使用人像模式进行拍摄时，电子设备100保存的图像可以仅包含人物，不包含背景中的风景，从而突出人物在画面中的显示效果，增强人物拍摄的娱乐性和隐私性。

需要注意的是，电子设备100保存的人物图像，不仅限于只包含属于前景的人物，该人物图像可以同时包含属于前景的人物以及属于背景的风景，但是人物和风景在人物图像中的显示效果可以不同，从而达到突出人物的效果，该显示效果可以是指清晰度、亮度、饱和度、对比度等等。或者，进一步地，在电子设备100显示人物图像时，电子设备100还可以检测到用户更改人物背景的用户操作，更改人物图像中的背景。

图5示出了本申请实施例提供的图像处理方法的流程示意图。

如图5所示，该方法包括：

S101、电子设备100在暗光环境和强光环境下，分别使用TOF摄像头采集图像，在图像的参数达到预设范围时，获取图像的曝光时间EXP_MAX、EXP_MIN。

暗光环境可以是指光照强度小于阈值(例如第二值)或不存在外界光源的环境，强光环境可以是指光照强度大于阈值(例如第三值)的环境。

曝光时间为光投射到摄像头感光元件上，快门所要打开的时间，曝光时间越长，感光元件上捕捉的光越多，曝光时间越短，感光元件上捕捉的光越少。摄像头采集图像时使用不同的曝光时间，会影响到图像的亮度、清晰度等等显示效果。

电子设备100可以启动自动曝光，利用TOF摄像头分别在暗光环境和强光环境下采集图像，获取电子设备100采集图像时的曝光时间，其中在暗光环境下的曝光时间为曝光时间EXP_MAX，在强光环境下的曝光时间为曝光时间EXP_MIN。

电子设备100启动自动曝光是指，电子设备100根据当前采集的图像的显示效果自动调整曝光时间的大小，使电子设备100最终采集的图像的显示效果最佳，即图像的参数(包括亮度、清晰度等)达到预设范围。

电子设备100获取两种极端环境，即暗光环境和强光环境下，TOF摄像头采集图像时的曝光时间，即可确定两种极端光照强度下，曝光时间的最大值和最小值，从而涵盖实际拍摄过程中的不同光照强度下，TOF摄像头可以使用的曝光时间范围。

S102、电子设备100在曝光时间EXP_MIN、EXP_MAX所在的数值范围内选取N个曝光时间。

电子设备100可以在曝光时间EXP_MIN、EXP_MAX所在的数值范围内随机选择N个曝光时间。优选地，电子设备100可以在曝光时间EXP_MIN、EXP_MAX所在的数值范围内均匀选择N个曝光时间。

需要注意的是，步骤S101-S102可以为电子设备100进行出厂测试时执行的步骤，或者，这N个曝光时间可以为电子设备100出厂时预置在电子设备100内部的参数，该参数可以为测试人员通过测试与电子设备100同类型的其他电子设备时，通过该其他电子设备执行上述S101-S102获取的参数。也就是说，电子设备100可以不执行步骤S101-S102，这时，电子设备100可以预存有N个曝光时间。

S103、电子设备100检测到用户启动拍摄的操作。

在电子设备100检测到用户启动拍摄的操作之前，电子设备100可以显示相机应用程序提供的拍摄预览界面(例如图4B所示的用户界面10)。电子设备100检测到用户启动拍摄的操作可以是指电子设备100检测到用户作用于该用户界面中的拍摄控件(例如图4B所示的快门控件104)的用户操作。

可以理解的是，该操作可以是指用户作用于电子设备100的点击操作，也可以是指用户作用于电子设备100的语音操作等等，本申请实施例对该操作不作限制。

S104、针对N个曝光时间中的同一个曝光时间，电子设备100使用TOF摄像头，分别在开启和关闭红外投射器时，采集一组包含目标人物的红外图像IR1、IR2。

响应于用户启动拍摄的操作，电子设备100可以利用TOF摄像头采集红外图像，其中，电子设备100可以在TOF摄像头采集红外图像的过程中，通过开启或关闭红外投射器，改变背景和目标人物在图像上的成像效果。其中，红外图像IR1为开启红外投射器时，TOF摄像头采集的图像，红外图像IR2为关闭红外投射器时，TOF摄像头采集的图像。

这是由于红外投射器是一个提供发光源的器件，在关闭红外投射器进行拍摄时，不存在电子设备100提供的红外光源，这时TOF摄像头采集的红外图像仅仅由物体自身发射的红外光在TOF摄像头上成像获得，在开启红外投射器进行拍摄时，存在电子设备100提供的红外光源，这时TOF摄像头采集的红外图像由物体自身发射的红外光，以及红外投射器发出并在目标人物上反射回来的红外光，在TOF摄像头上成像获得。那么，开启红外投射器采集的红外图像中的目标人物，比未开启红外投射器采集的红外图像中的目标人物的轮廓更明显、更清晰。

在本申请实施例中，红外图像IR1还可以称为第一红外图像，红外图像IR2还可以称为第二红外图像。

S105、电子设备100对红外图像IR1和红外图像IR2进行差分处理，获得去除背景的前景图像IR0。

红外图像IR1和红外图像IR2进行差分处理，是指红外图像IR2对红外图像IR1做差分处理，实际是红外图像IR1中的各像素的像素值减去红外图像IR2中对应的各像素的像素值，从而得到一张去除背景后的前景图像IR0。这是由于靠近红外投射器的目标人物更容易受到红外投射器发出的红外光的影响，属于前景的目标人物在红外图像中会因为开启或关闭红外投射器，在红外图像中呈现不同的显示效果，而背景距离红外投射器较远，其反射的红外光可以忽略不计，故背景不易受到红外投射器的开启或关闭的影响，使得背景在红外图像中呈现的显示效果不变或变化较小，那么对红外图像IR1和红外图像IR2进行差分处理，即可将显示效果未发生改变或改变不明显的背景除去，而保留属于前景的目标人物。

其中，属于前景的目标人物在前景图像中的像素值较大，背景在前景图像中的像素值较小，因此，在本申请实施例中，前景图像中像素值大于阈值(例如第一值)的区域属于目标人物所在的前景区域。

在本申请实施例中，电子设备100会在N个曝光时间下，执行步骤S104-S105，保证电子设备100获取到N个曝光时间下，TOF摄像头采集的红外图像，且每一个曝光时间下，TOF摄像头都会开启和关闭红外投射器，采集两次红外图像。也就是说，在电子设备100检测到用户启动拍摄的操作后，TOF摄像头会调整N次曝光时间，采集N组红外图像，并对每组红外图像进行差分处理，获得N张去除背景的前景图像。

在一些实施例中，电子设备100还可以进一步结合光照强度，按照公式1对红外图像IR1和红外图像IR2做差分处理：

其中，Y表示前景图像IR0的像素值，X1表示红外图像IR1的像素值，X2表示红外图像IR2的像素值，Q1表示采集红外图像IR1时的光照强度，Q2表示采集红外图像IR2时的光照强度。

可以看出，通过公式1来计算前景图像是为了避免采集红外图像IR1和红外图像IR2时外界光照强度的变化对人像分割的影响。其中，电子设备100可以通过环境光传感器获取光照强度。

S106、电子设备100从使用N个曝光时间拍摄并处理得到的前景图像中，选取清晰度最高的前景图像IR。

电子设备100使用N个曝光时间拍摄并处理得到的前景图像即为N张去除背景的前景图像。由于不同曝光时间下采集得到的红外图像的显示效果不同，电子设备100可以从这N张前景图像中选取一张清晰度最高的前景图像，以供电子设备100根据该清晰度最高的前景图像来确定目标人物的图像中的位置，提高人像分割的精度。

图6示例性示出了电子设备100在N个曝光时间下，利用TOF摄像头采集的红外图像，以及根据红外图像得到的前景图像。

如图6所示，红外图像IR1-1和红外图像IR2-1分别为电子设备100在曝光时间X₁下，开启和关闭红外投射器时，TOF摄像头采集的红外图像，红外图像IR1-N和红外图像IR2-N分别为电子设备100在曝光时间X_N下，开启和关闭红外投射器时，TOF摄像头采集的红外图像。前景图像IR-1为电子设备100对红外图像IR1-1和红外图像IR2-1进行差分处理获得的图像，前景图像IR-N为电子设备100对红外图像IR1-N和红外图像IR2-N进行差分处理获得的图像，电子设备100可以从包含前景图像IR-1和前景图像IR-N的N个图像中选取清晰度最高的图像作为前景图像IR。

可以理解的是，电子设备100也可以只采集一组红外图像，根据这一组红外图像获得去除背景的前景图像，并根据该前景图像确定彩色图像中包含的前景目标。在本申请实施例中，前景图像IR可以为第三红外图像。

S107、电子设备100获取彩色摄像头采集的包含目标人物的彩色图像，和TOF摄像头采集的包含目标人物的深度图像。

在电子设备100检测到用户启动拍摄的操作后，响应于该操作，电子设备100还可以利用彩色摄像头采集彩色图像，利用TOF摄像头采集深度图像。其中，该彩色摄像头可以是指如图2所示的彩色摄像头193-1，该TOF摄像头可以是指如图2所示的TOF摄像头193-2。

结合步骤S104-S106可以看出，在电子设备100检测到用户启动拍摄的操作后，响应于该操作，电子设备100可以利用TOF摄像头采集深度图像和红外图像。

其中，在电子设备100利用TOF摄像头采集深度图像时，红外投射器处于开启状态，电子设备100可以利用红外投射器发射2个或2个以上相位不同的正弦信号，并通过测量入射信号与反射信号的变化来测量物体与摄像头之间的距离，并将反映该距离的深度数据作为图像的像素值，从而获得反映物体与摄像头之间距离的深度图像。另外，由于电子设备100在N个曝光时间下会采集N组红外图像，因此，在电子设备100检测到用户启动拍摄的操作后，红外投射器在一个周期内会发射N+2或大于N+2个连续的正弦信息，其中N个正弦信号用于获取上述N组红外图像，2个或2个以上的正弦信号用于获取深度图像。

在本申请实施例中，电子设备100利用彩色摄像头采集的彩色图像可以称为第一彩色图像。

S108、电子设备100识别彩色图像中的目标人物的人脸。

具体地，电子设备100可以使用人脸检测算法识别彩色图像中的目标人物的人脸，从而确定彩色图像中人脸所在的区域(例如第三区域)。

可以理解的是，不仅限于利用人脸检测算法来识别目标人物的人脸，还可以通过其他生物特征，例如：虹膜、视网膜、体型等等来识别目标人物在彩色图像中的大致位置，进一步地，本申请实施例提供的图像处理方法不仅限于实现人像分割，还可以实现背景与其他拍摄物的分离，也即是说，拍摄对象除了为人物外，还可以为动物、植物等等，本申请实施例对此不作限制。

S109、电子设备100根据人脸在彩色图像中的位置，确定深度图像中的人脸所在的前景区域。

电子设备100根据人脸在彩色图像中的位置即可确定人脸在深度图像中位置，这是由于彩色摄像头与TOF摄像头在电子设备100上的实际物理位置相差不大，电子设备100利用彩色摄像头和TOF摄像头同时拍摄得到的彩色图像和深度图像中，目标人物在图像中位置大致相同。或者，电子设备100可以利用彩色摄像头与TOF摄像头的标定参数，对齐彩色图像和深度图像，使对齐后的彩色图像和深度图像中相同特征点在同一个坐标系上的坐标点相同，通过对齐后的彩色图像中，人脸所在的区域，即可较为精确的得到深度图像中，人脸所在的区域。

在电子设备100确定人脸在深度图像中的位置后，即可根据该人脸在深度图像中的深度值，确定深度图像中目标人物所在的前景区域。该前景区域的深度值与人脸所在区域的深度值的差值小于阈值(例如第四值)。这是因为目标人物以及目标人物的人脸都位于前景区域，当电子设备100确定了人脸的深度值后，即可根据相同或相近的深度值确定与人脸同在前景区域的目标人物在深度图像中的前景区域。

在本申请实施例中，深度图像中，人脸所在的区域可以称为第四区域，目标人物所在的前景区域可以称为第五区域。

图7示出了电子设备100识别人脸并确定前景区域的示意图。

图7中(a)示例性示出了彩色摄像头采集的彩色图像，图7中(b)示出了TOF摄像头采集的深度图像。其中，电子设备100可以通过人脸检测算法识别到图7中(a)所示的彩色图像中的人脸区域01，从而确定深度图像中的人脸区域02，并根据深度图像中人脸区域02中的深度值，确定与该深度值近似的前景区域03。示例性地，图7中(a)所示的人脸区域01可以为本申请实施例提及的第三区域，图7中(b)所示的人脸区域02可以为本申请实施例提及的第四区域，图7中(b)所示的前景区域03可以为本申请实施例提及的第五区域。

S110、电子设备100根据前景区域进一步去除前景图像IR中的背景，获得前景图像IR’。

电子设备100利用前景区域进一步去除前景图像中的背景是为了进一步校准前景图像。这是由于仅利用红外图像的差分处理来确定目标人物所在的前景区域可能不够精确，当拍摄过程中，拍摄范围内存在运动的物体时，差分处理时可以会误把部分运动的物体划分到目标人物所在的前景区域，使前景图像中仍包含未处理干净的背景图像，当电子设备100利用深度图像和彩色图像确定的前景区域进一步去除前景图像中的背景，可以进一步去除差分处理时错误划分的背景。具体地，电子设备100可以将前景图像中确定的前景区域，与深度图像中国确定的前景区域的交集，确定为前景图像中校准后的前景区域。这样，可以优化前景的边缘区域，进一步移除较难移除的背景，提高人像分割的精度。

图8示出了电子设备100进一步校准前景图像的示意图。

图8中(a)示出了电子设备100采集的红外图像IR1，图8中(b)示出了电子设备100采集的红外图像IR2，图8中(c)示出了电子设备100根据红外图像IR1和红外图像IR2得到的前景图像IR，图8中(d)示出了电子设备100进一步校准前景图像IR后，获得的前景图像IR’。

通过图8中的(a)、(b)可以看出，当拍摄过程中存在运动的物体，例如飞鸟时，图8中(a)和(b)中的区域A显示有飞鸟不同的飞行状态，当此时对红外图像IR1和红外图像IR2进行差分处理时，图8中(c)中的区域A会保留部分背景内容。那么当此时电子设备100根据前景区域03再次去除红外图像IR的背景时，即可将(c)中的区域A中的背景内容从红外图像IR中去除，获得图8中(d)所示的前景图像IR’。

示例性地，图8中(c)所示的前景图像IR可以为本申请实施例提及的第三红外图像，图8中(c)所示的前景图像中黑色部分之外的区域可以为本申请实施例提及的第一区域，图8中(c)所示的前景区域03可以为本申请实施例提及的第六区域或者第七区域，其中，第六区域为第一区域与第七区域的交集，第七区域在前景图像IR中的大小和位置，与深度图像中的前景区域(例如，图7中(b)所示的前景区域03)在深度图像中的大小和位置，相同。

可以理解的是，步骤S107-S110中获取深度图像，根据彩色图像和深度图像确定前景区域，并根据前景区域进一步校准前景图像为可选的步骤。电子设备100可以在获得前景图像IR后，直接根据前景图像IR确定彩色图像中的前景区域，从而获取彩色图像中位于前景区域中的目标人物，实现目标人物与背景的分离，加快人像分割的速度。

图9示出了电子设备100根据红外图像和彩色图像实现人像分割时的图像处理过程。

S111、电子设备100通过TOF摄像头和彩色摄像头的标定参数，对齐前景图像IR’和彩色图像。

标定参数包括摄像头的内参和外参，通过摄像头的标定即可获得摄像头的标定参数，摄像头的标定过程为寻求空间中的某点到摄像头采集的图像中的某点的转换关系的过程，该转换关系即可用摄像头的内参和外参表示。

由于彩色摄像头与TOF摄像头实际物理位置的偏差，会导致目标人物在彩色图像中的位置，与目标人物在红外图像中的位置不同。例如，从图2可以看出，由于彩色摄像头193-1位于TOF摄像头193-2的上方，会导致目标人物在彩色图像中的位置，比目标人物在红外图像的位置更偏下。但是实际拍摄环境中，目标人物并没有主动改变其所在的位置。

因此，可以通过TOF摄像头和彩色摄像头的标定参数，对前景图像IR’和彩色图像进行坐标转换，对齐前景图像IR’和彩色图像，将前景图像IR’对齐到彩色图像所在的坐标系中，使同一坐标系下，前景图像IR’和彩色图像中相同特征点的位置相同。从而使电子设备100能够直接根据前景图像IR’中的前景区域，确定彩色图像中人像所在的前景区域，这时，对齐后的前景图像IR’中的前景区域的位置和大小，与，彩色图像中人像所在的前景区域在同一坐标系下的位置和大小相同。具体地，对齐前景图像IR’和彩色图像是指对前景图像IR’和/或彩色图像进行旋转或平移等图像处理，将前景图像IR’和彩色图像中相同特征点在图像中的位置相对应。

S112、电子设备100根据对齐后的前景图像IR’和彩色图像，获取彩色图像中的前景目标。

在电子设备100对齐前景图像IR’和彩色图像后，由于前景图像IR’为去除背景后，仅包含目标人物的图像，电子设备100根据前景图像IR’中的前景区域，确定彩色图像中的前景区域，从而获取彩色图像中位于前景区域中的目标人物，实现目标人物与背景的分离。

在一些实施例中，电子设备100可以去除彩色图像中的背景，获得一张仅包含目标人物的图像，或者，电子设备100可以为背景与目标人物设置不同的显示效果，该显示效果可以是指清晰度、亮度、饱和度、对比度等等，从而获得一张仅包含或仅突出目标人物的彩色图像(例如，第二彩色图像)。例如，电子设备100可以淡化背景的颜色，或将背景的颜色设置为黑色，或者，替换彩色图像的背景等等，本申请实施例对电子设备100获取到彩色图像中的目标人物后对图像的处理方式不做限制。

在一些实施例中，在电子设备100获得仅包含或仅突出目标人物的彩色图像后，电子设备100可以将该彩色图像保存在电子设备100内部，在电子设备100接收到用户查看图片的操作(例如第一操作)时，显示该图像。

图9示出了电子设备100根据前景图像IR’和彩色图像获得不包含背景的人物图像。

如图9所示，电子设备100可以对齐前景图像IR’和彩色图像，并根据前景图像IR’中的黑色区域去除彩色图像的背景，从而获得仅包含目标人物的人物图像。其中该人物图像可以为图4D所示预览框202中显示的图像。

总的来说，本申请实施例提供的图像处理方法，能够结合红外图像、彩色图像、深度图像的图像特点，实现从图像中分离人物和背景，提高了人像分割的精度，减少了外界环境对人像分割的干扰，扩大了人像分割的应用场景。

本申请的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solidstate disk，SSD))等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

总之，以上所述仅为本发明技术方案的实施例而已，并非用于限定本发明的保护范围。凡根据本发明的揭露，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法应用于包括彩色摄像头和飞行时间TOF摄像头的电子设备，所述方法包括：

所述电子设备使用所述彩色摄像头采集包含第一物体的第一彩色图像，使用所述TOF摄像头采集包含所述第一物体的第一红外图像和第二红外图像；所述第一红外图像由所述TOF摄像头提供红外光时采集得到，所述第二红外图像由所述TOF摄像头未提供红外光时采集得到；

所述电子设备使用所述第二红外图像对所述第一红外图像做差分处理，得到第三红外图像；

所述电子设备根据所述第三红外图像中像素值大于第一值的第一区域的位置，确定所述第一彩色图像中的所述第一物体所在的第二区域；

所述电子设备保留所述第一彩色图像中所述第二区域的像素值，更改所述第一区域以外的像素值，得到第二彩色图像。

2.根据权利要求1所述的方法，其特征在于，所述第二区域在所述第一彩色图像中的位置和大小，与，所述第一区域在所述第三红外图像中的位置和大小，相同。

3.根据权利要求1或2所述的方法，其特征在于，所述电子设备确定所述第一彩色图像中的所述第一物体所在的第二区域，具体包括：

所述电子设备利用所述彩色摄像头和所述TOF摄像头的标定参数，在坐标系中以所述第一彩色图像为参考，调整所述第三红外图像的位置，使得所述第三红外图像中的第一物体，和，所述第一彩色图像中的第一物体，的位置相同；

所述电子设备确定所述第一彩色图像中所述第一物体所在的第二区域；所述第二区域在所述坐标系中的位置和大小，与，所述第一区域在所述坐标系中的位置和大小，相同。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述第一红外图像和所述第二红外图像中均包括所述电子设备使用所述TOF摄像头在N个曝光时间下采集的图像，

所述电子设备使用所述第二红外图像对所述第一红外图像做差分处理，得到第三红外图像，具体包括：

所述电子设备针对每个曝光时间，使用所述第二红外图像对所述第一红外图像做差分处理，获得N张图像，将所述N张图像中清晰度最高的图像确定为所述第三红外图像。

5.根据权利要求4所述的方法，其特征在于，所述N个曝光时间为所述电子设备预置的参数。

6.根据权利要求4或5所述的方法，其特征在于，所述电子设备使用所述彩色摄像头采集包含第一物体的第一彩色图像，使用所述TOF摄像头采集包含所述第一物体的第一红外图像和第二红外图像之前，所述方法还包括：

所述电子设备在小于第二值的光照强度下，利用所述TOF摄像头采集图像，在所述TOF摄像头采集的图像参数位于预设范围时，获取所述TOF摄像头的第一曝光时间；

所述电子设备在大于第三值的光照强度下，利用所述TOF摄像头采集图像，在所述TOF摄像头采集的图像参数位于预设范围时，获取所述TOF摄像头的第二曝光时间；

所述电子设备在所述第一曝光时间和所述第二曝光时间所在的范围内选取所述N个曝光时间。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述电子设备确定所述第一彩色图像中的所述第一物体所在的第二区域之前，所述方法还包括：

所述电子设备使用所述TOF摄像头采集包含所述第一物体的深度图像；

所述电子设备识别所述第一彩色图像中部分或全部所述第一物体所在的第三区域；

所述电子设备根据所述第三区域在所述第一彩色图像中的位置，确定深度图像中所述部分或全部第一物体所在的第四区域；

所述电子设备确定所述深度图像中的第五区域，所述第五区域的深度值与所述第四区域的深度值的差值小于第四值；

所述电子设备根据所述第三红外图像中像素值大于第一值的第一区域的位置，确定所述第一彩色图像中的所述第一物体所在的第二区域，具体包括：

所述电子设备根据第六区域在所述第三红外图像中的位置，确定所述第一彩色图像中的第二区域，所述第六区域包括所述第三红外图像中所述第一区域与所述第七区域的交集，所述第七区域在所述第三红外图像中的位置和大小，与，所述第五区域在所述深度图像中的位置和大小，相同。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述电子设备使用所述彩色摄像头采集包含第一物体的第一彩色图像，使用所述TOF摄像头采集包含所述第一物体的第一红外图像和第二红外图像之前，所述方法还包括：

所述电子设备显示拍照预览界面；

所述电子设备检测到拍摄操作；

所述电子设备得到第二彩色图像之后，所述方法还包括：

所述电子设备保存所述第二彩色图像。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述电子设备根据所述第一彩色图像获得第二彩色图像之后，所述方法还包括：

所述电子设备检测到第一操作，显示所述第二彩色图像。

10.一种电子设备，其特征在于，包括存储器，一个或多个处理器，以及一个或多个程序；所述一个或多个处理器在执行所述一个或多个程序时，使得所述电子设备实现如权利要求1至9任一项所述的方法。

11.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得所述电子设备执行如权利要求1至9任一项所述的方法。

12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得计算机执行如权利要求1至9任一项所述的方法。

Images