CN107665478A - 图像处理方法和装置、电子装置和计算机可读存储介质 - Google Patents

Abstract

本发明提出一种图像处理方法，用于电子装置，该方法包括：检测当前用户所处场景的色温；根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，所述待融合对象为选取的背景图像和/或所述当前用户的人物区域图像；获取所述当前用户的第一视频图像；获取所述当前用户的多个深度图像；根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像；将每一个所述人物区域图像与对应的所述背景图像融合以得到合并图像。本发明中通过检测到的场景的色温调整融合对象，使得场景的色温与待融合的背景图像的色温匹配，能够得到融合效果理想的合并图像。

Description

图像处理方法和装置、电子装置和计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理方法和装置、电子装置和计算机可读存储介质。

背景技术

现有的将人物与虚拟背景融合的技术，通常将待融合的人物从该人物所在的一个图像中取出，然后将抠出的人物添加到虚拟背景中。实际应用中，两个进行融合的图像之间会存在一些差异，单纯地通过移动位置、大小等调整并不能使融合得到的图像具有较好的融合效果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种图像处理方法，以实现根据环境色温调整融合对象的色温，使得融合对象的色温匹配，用于解决现有融合技术中存在融合效果较差的问题。

本发明的第二个目的在于提出一种图像处理装置。

本发明的第三个目的在于提出一种电子装置。

本发明的第四个目的在于提出一种计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种图像处理方法，包括：

检测当前用户所处场景的色温；

根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，所述待融合对象为选取的背景图像和/或所述当前用户的人物区域图像；

获取所述当前用户的第一视频图像；

获取所述当前用户的多个深度图像；

根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像；

将每一个所述人物区域图像与对应的所述背景图像融合以得到合并图像。

本发明实施例的图像处理方法，通过检测用户所处场景的色温，根据场景的色温调整融合对象，使得场景的色温与待融合的背景图像的色温匹配，从而可以保证将从场景图像中提取出的人物区域图像与背景图像融合后，得到融合效果理想的合并图像。由于在融合过程中考虑了色温因素，使得人物与背景图像融合好更加自然，提高了融合效果，提升了用户体验。

为达上述目的，本发明第二方面实施例提出了一种图像处理装置，包括：

可见光摄像头，所述可见光摄像头用于检测当前用户所处场景的色温，以及获取当前用户的第一视频图像；

深度图像采集组件，所述深度图像采集组件用于获取所述当前用户的多个深度图像；

处理器，所述处理器用于：

根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，所述待融合对象为所述背景图像和/或所述当前用户的人物区域图像；

根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像；

将每一个所述人物区域图像与对应的所述背景图像融合以得到合并图像。

本发明实施例的图像处理装置，通过检测用户所处场景的色温，根据场景的色温调整融合对象，使得场景的色温与待融合的背景图像的色温匹配，从而可以保证将从场景图像中提取出的人物区域图像与背景图像融合后，得到融合效果理想的合并图像。由于在融合过程中考虑了色温因素，使得人物与背景图像融合好更加自然，提高了融合效果，提升了用户体验。

为达上述目的，本发明第三方面实施例提出了电子装置，包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行本发明第一方面所述的图像处理方法的指令。

为达上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其特征在于，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成本发明第一方面所述的图像处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例提供的一种图像处理方法的流程示意图。

图2是本发明实施例提供的一种图像处理装置的模块示意图。

图3是本发明实施例提供的一种电子装置的结构示意图。

图4是本发明实施例提供的另一种图像处理方法的流程示意图。

图5是本发明实施例提供的另一种图像处理方法的流程示意图。

图6(a)至图6(e)是根据本发明一个实施例的结构光测量的场景示意图。

图7(a)和图7(b)根据本发明一个实施例的结构光测量的场景示意图。

图8是本发明实施例提供的另一种的图像处理方法的流程示意图。

图9是本发明实施例提供的另一种的图像处理方法的流程示意图。

图10是本发明实施例提供的另一种的图像处理方法的流程示意图。

图11是本发明实施例提供的另一种的图像处理方法的流程示意图。

图12是本发明实施例提供的另一种的图像处理方法的流程示意图。

图13是本发明实施例提供的另一种的图像处理方法的流程示意图。

图14是本发明实施例提供的另一种的图像处理方法的流程示意图。

图15是本发明实施例提供的另一种的图像处理方法的流程示意图。

图16是本发明实施例提供的另一种的图像处理方法的流程示意图。

图17是本发明实施例提供的另一种的图像处理方法的流程示意图。

图18是本发明实施例提供的另一种的图像处理方法的流程示意图。

图19是本发明实施例提供的另一种的电子装置的模块示意图。

图20是本发明实施例提供的另一种的电子装置的模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1至3，本发明实施方式的图像处理方法用于电子装置1000。图像处理方法包括：

S101，检测当前用户所处场景的色温。

S102，根据场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，待融合对象为选取的背景图像和/或当前用户的人物区域图像。

S103，获取当前用户的第一视频图像。

S104，获取当前用户的多个深度图像。

S105，根据多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像。

S106，将每一个人物区域图像与对应的背景图像融合以得到合并图像。

在某些应用场景中，例如，当前用户与他人进行视频过程中希望隐藏当前的背景，此时，即可使用本发明实施方式的图像处理方法将当前用户对应的人物区域图像与预定的背景融合，再向对方显示融合后的合并图像。

请参阅图3，本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置100实现。本发明实施方式的图像处理装置100用于电子装置1000。图像处理装置100包括可见光摄像头11、深度图像采集组件12和处理器20。S101和S103可以由可见光摄像头11实现，S104可以由深度图像采集组件12实现，S102、S105和S106可以由处理器20实现。

本发明实施例中，可见光摄像头11在对场景拍摄的过程中，可以通过内部的感光芯片检测出当前用户所处场景的色温。在获取到场景色温后，为了使得人物能够更好地融合在待融合的背景图像中，处理器20可用于可以根据场景的色温，对场景和/或待融合的背景图像的色温进行调整，使得场景的色温与背景图像的色温能够匹配，使得融合后图像的色温在人眼处差异较小，具有较好的融合效果，提高用户体验。

在获取到场景的色温后，处理器20可以进一步地获取到待融合的背景图像的色温，将两个色温进行比较，以判断两个色温是否匹配，具体地，处理器20在获取到场景的色温和背景图像的色温之后，将场景的色温与待融合的背景图像的色温进行比较，获取两个色温的差值，当差值超出预设的色温阈值时，说明场景的色温与背景图像的色温不匹配，需要进行待融合对象进行调整。在某些实施方式中，当两个色温不匹配时，可以选择其中一个进行调整，或者同时调整。关于具体调整的过程，可参见后续实施例中的介绍，此处不再赘述。

在根据场景的色温对场景和/或待融合的背景图像的色温进行调整，使得场景的色温与背景图像的色温能够匹配之后，可见光摄像头11不断地对场景进行拍摄，获取到当前用户的第一视频图像。本实施例中，第一视频图像中包括多帧场景图像。

进一步地，深度图像采集组件12可用于获取当前用户的多个深度图像。其中，场景图像为可以是灰度图像或彩色图像，深度图像表征包含当前用户的场景中各个人或物体的深度信息。场景图像的场景范围与深度图像的场景范围一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。

用户在视频拍摄过程中，往往是处于运动状态的，可以能会不断地变化位置，此时第一视频图像中的每一帧场景图像可以分别对应一个深度图像。另一种可能，用户在多帧场景图像中并未发生移动，此时第一视频图像中的多帧场景图像可以对应一个深度图像。

进一步地，处理器20可用于根据多个深度图像，处理第一场景视频的场景图像，以获取当前用户在场景图像中的人物区域而获得人物区域图像，以及将每一个人物区域图像与对应的背景图像融合以得到合并图像。

现有的分割人物与背景的方法主要根据相邻像素在像素值方面的相似性和不连续性进行人物与背景的分割，但这种分割方法易受外界光照等环境因素的影响。本发明实施例中图像处理装置100和电子装置1000通过获取当前用户的深度图像以将场景图像中的人物区域提取出来。由于深度图像的获取不易受光照、场景中色彩分布等因素的影响，因此，通过深度图像提取到的人物区域更加准确，尤其可以准确标定出人物区域的边界。进一步地，较为精准的人物区域图像与背景融合后的合并图像的效果更佳。

本发明实施例提供的图像处理方法，通过检测用户所处场景的色温，根据场景的色温，调整融合对象的色温，使得场景的色温与待融合的背景图像的色温匹配，从而可以保证将从场景图像中提取出的人物区域图像与背景图像融合后，得到融合效果理想的合并图像。由于在融合过程中考虑了色温因素，使得人物与背景图像融合好更加自然，提高了融合效果，提升了用户体验。

本发明实施方式的图像处理装置100可以应用于本发明实施方式的电子装置1000。也即是说，本发明实施方式的电子装置1000包括本发明实施方式的图像处理装置100。

在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。

请参阅图4，在某些实施方式中，S104获取当前用户的多个深度图像的步骤包括：

S201，向当前用户投射结构光；

S202，拍摄经当前用户调制的结构光图像。

S203，解调结构光图像的各个像素对应的相位信息以得到多个深度图像中一个深度图像。

请再参阅图3，在某些实施方式中，深度图像采集组件12包括结构光投射器121和结构光摄像头122。S201可以由结构光投射器121实现，S202和S203可以由结构光摄像头122实现。

也即是说，结构光投射器121可用于向当前用户透射结构光；结构光摄像头122可用于拍摄经当前用户调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到深度图像。

具体地，结构光投射器121将一定模式的结构光投射到当前用户的面部及躯体上后，在当前用户的面部及躯体的表面会形成由当前用户调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度图像。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。

请参阅图5，在某些实施方式中，S203解调结构光图像的各个像素对应的相位信息以得到多个深度图像中的一个深度图像的步骤包括：

S301，解调结构光图像中各个像素对应的相位信息。

S302，将相位信息转化为深度信息。

S303，根据深度信息生成深度图像。

请再参阅图2，在某些实施方式中，S301、S302和S303均可以由结构光摄像头122实现。

也即是说，结构光摄像头122可进一步用于解调结构光图像中各个像素对应的相位信息，将相位信息转化为深度信息，以及根据深度信息生成深度图像。

具体地，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头122首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息，从而得到最终的深度图像。

为了使本领域的技术人员更加清楚的了解根据结构来采集当前用户的面部及躯体的深度图像的过程，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理。其中，光栅投影技术属于广义上的面结构光。

如图6(a)所示，在使用面结构光投影的时候，首先通过计算机编程产生正弦条纹，并将正弦条纹通过结构光投射器121投射至被测物，再利用结构光摄像头122拍摄条纹受物体调制后的弯曲程度，随后解调该弯曲条纹得到相位，再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题，使用结构光进行深度信息采集前需对深度图像采集组件12进行参数标定，标定包括几何参数(例如，结构光摄像头122与结构光投射器121之间的相对位置参数等)的标定、结构光摄像头122的内部参数以及结构光投射器121的内部参数的标定等。

具体而言，第一步，计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差为的条纹，然后结构光投射器121将该四幅条纹分时投射到被测物(图6(a)所示的面具)上，结构光摄像头122采集到如图6(b)左边的图，同时要读取如图6(b)右边所示的参考面的条纹。

第二步，进行相位恢复。结构光摄像头122根据采集到的四幅受调制的条纹图(即结构光图像)计算出被调制相位，此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得，因此结构光调制后的相位被限制在之间，也就是说，每当调制后的相位超过，其又会重新开始。最终得到的相位主值如图6(c)所示。

其中，在进行相位恢复过程中，需要进行消跳变处理，即将截断相位恢复为连续相位。如图6(d)所示，左边为受调制的连续相位图，右边是参考连续相位图。

第三步，将受调制的连续相位和参考连续相位相减得到相位差(即相位信息)，该相位差表征了被测物相对参考面的深度信息，再将相位差代入相位与深度的转化公式(公式中涉及到的参数经过标定)，即可得到如图6(e)所示的待测物体的三维模型。

应当理解的是，在实际应用中，根据具体应用场景的不同，本发明实施例中所采用的结构光除了上述光栅之外，还可以是其他任意图案。

作为一种可能的实现方式，本发明还可使用散斑结构光进行当前用户的深度信息的采集。

具体地，散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米，各个台阶的高度不均匀，高度的取值范围可为0.7微米～0.9微米。图7(a)所示结构为本实施例的准直分束元件的局部衍射结构。图7(b)为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性，并且会随着距离的不同而变换图案。因此，在使用散斑结构光获取深度信息前，首先需要标定出空间中的散斑图案，例如，在距离结构光摄像头122的0～4米的范围内，每隔1厘米取一个参考平面，则标定完毕后就保存了400幅散斑图像，标定的间距越小，获取的深度信息的精度越高。随后，结构光投射器121将散斑结构光投射到被测物(即当前用户)上，被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头122拍摄投射到被测物上的散斑图案(即结构光图像)后，再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算，进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值，把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。

由于普通的衍射元件对光束进行衍射后得到多数衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大。即便是对衍射光进行二次衍射，得到的光束的均匀性也较低。因此，利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件，该元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同的角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行投射的效果更好。同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且散斑结构光相对于其他排布均匀的结构光来说，达到同样的采集效果时，散斑结构光消耗的电量更低。

请参阅图8，在某些实施方式中，S105根据所述多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像的步骤包括：

S401，针对每一帧场景图像，识别场景图像中的人脸区域。

S402，从场景图像对应的深度图像中获取与人脸区域对应的深度信息。

S403，根据人脸区域的深度信息确定人物区域的深度范围。

S404，根据人物区域的深度范围确定与人脸区域连接且落入深度范围内的人物区域以获得人物区域图像。

请再参阅图2，在某些实施方式中，S401、S402、S403和S404均可以由处理器20实现。

也即是说，处理器20可进一步用于识别场景图像中的人脸区域，从深度图像中获取与人脸区域对应的深度信息，根据人脸区域的深度信息确定人物区域的深度范围，以及根据人物区域的深度范围确定与人脸区域连接且落入深度范围内的人物区域以获得人物区域图像。

具体地，首先可采用已训练好的深度学习模型识别出场景图像中的人脸区域，随后根据场景图像与深度图像的对应关系可确定出人脸区域的深度信息。由于人脸区域包括鼻子、眼睛、耳朵、嘴唇等特征，因此，人脸区域中的各个特征在深度图像中所对应的深度数据是不同的，例如，在人脸正对深度图像采集组件12时，深度图像采集组件12拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，上述的人脸区域的深度信息可能为一个数值或是一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到；或者，可以通过对人脸区域的深度数据取中值得到。

由于人物区域包含人脸区域，也即是说，人物区域与人脸区域同处于某一个深度范围内，因此，处理器20确定出人脸区域的深度信息后，可以根据人脸区域的深度信息设定人物区域的深度范围，再根据人物区域的深度范围提取落入该深度范围内且与人脸区域相连接的人物区域以获得人物区域图像。

如此，即可根据深度信息从场景图像中提取出人物区域图像。由于深度信息的获取不受环境中光照、色温等因素的影像响，因此，提取出的人物区域图像更加准确。

请参阅图9，在某些实施方式中，图像处理方法还包括以下步骤：

S501，处理场景图像以得到场景图像的全场边缘图像。

S502，根据全场边缘图像修正人物区域图像。

请再参阅图2，在某些实施方式中，S501和S502均可以由处理器20实现。

也即是说，处理器20还可用于处理场景图像以得到场景图像的全场边缘图像，以及根据全场边缘图像修正人物区域图像。

处理器20首先对场景图像进行边缘提取以得到全场边缘图像，其中，全场边缘图像中的边缘线条包括当前用户以及当前用户所处场景中背景物体的边缘线条。具体地，可通过Canny算子对场景图像进行边缘提取。Canny算子进行边缘提取的算法的核心主要包括以下几步：首先，用2D高斯滤波模板对场景图像进行卷积以消除噪声；随后，利用微分算子得到各个像素的灰度的梯度值，并根据梯度值计算各个像素的灰度的梯度方向，通过梯度方向可以找到对应像素沿梯度方向的邻接像素；随后，遍历每一个像素，若某个像素的灰度值与其梯度方向上前后两个相邻像素的灰度值相比不是最大的，那么认为这个像素不是边缘点。如此，即可确定场景图像中处于边缘位置的像素点，从而获得边缘提取后的全场边缘图像。

处理器20获取全场边缘图像后，再根据全场边缘图像对人物区域图像进行修正。可以理解，人物区域图像是将场景图像中与人脸区域连接并落入设定的深度范围的所有像素进行归并后得到的，在某些场景下，可能存在一些与人脸区域连接且落入深度范围内的物体。因此，为使得提取的人物区域图像更为准确，可使用全场边缘图对人物区域图像进行修正。

进一步地，处理器20还可对修正后的人物区域图像进行二次修正，例如，可对修正后的人物区域图像进行膨胀处理，扩大人物区域图像以保留人物区域图像的边缘细节。

处理器20得到人物区域图像后，即可将人物区域图像与预定二位背景进行融合，进而得到合并图像。在某些实施方式中，预定二维背景可以是由处理器20随机选取，或者由当前用户自行选定。融合后的合并图像可在电子装置1000的显示屏上进行显示，也可通过与电子装置1000连接的打印机进行打印。

由于当前用户正与对方视频通话，因此，可见光摄像头11需实时拍摄当前用户的场景图像，深度图像采集组件12也需要实时采集当前用户对应的深度图像，并由处理器20及时对实时采集的场景图像和深度图像进行处理以使得对方能够看到流畅的由多帧合并图像组合而成的视频画面。

当场景的色温与待融合的背景图像的色温不匹配时，可以选择其中一个进行调整，或者同时调整。在某些实施方式中，根据场景的色温，对场景进行补光使补充的光照射到场景中，从而能够调整或者改变场景的色温，使得场景的色温与背景图像的色温匹配。

请参阅图10，在调整场景的色温使得场景的色温与背景图像的色温匹配的情况下，图像处理方法具体包括以下步骤：

S601，检测当前用户所处场景的色温。

S602，根据场景的色温对当前用户的场景进行补光，使得场景的色温与待融合的背景图像的色温匹配。

S603，获取当前用户的场景第一视频图像。

S604，获取当前用户的多个深度图像。

S605，根据多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像。

S606，将每一个人物区域图像与对应的背景图像融合以得到合并图像。

请参阅图3，本发明实施方式的图像处理方法可以由本发明实施例的图像处理装置100实现。具体地，S601和S603可以由可见光摄像头11实现，S604可以由深度图像采集组件12实现，S602、S605和S606可以由处理器20实现。

关于S601、S603以及S605和S606的具体过程，可参见上述实施例中相关内容的记载，此处不再赘述。

参见图11，在某些实施方式中，S602根据场景的色温对当前用户的场景进行补光，使得场景的色温与待融合的背景图像的色温匹配具体包括以下步骤：

S701，根据场景的色温确定需要补充的光源的目标颜色；

S702，根据目标颜色控制补光阵列发光，以使补光阵列发出目标颜色的光源并照射到场景中。

请再参阅图2，在某些实施方式中，S701和S702均可以由处理器20实现。

处理器20在获取到场景的色温后，进一步地可以获取到待融合的背景图像的色温，为了能够使得场景的色温与背景图像的色温匹配，可以根据场景的色温与背景图像的色温，确定出需要补充的光源的目标颜色。在确定出该目标颜色后，就可以向场景中补充该目标颜色的光源。

在本发明实施例中，在图像处理装置1000中还设置有补光阵列，通过该补光阵列可以实现对场景进行补光。具体地，处理器20根据目标颜色，控制补光阵列发送目标颜色的光源。在某些实施方式中，补光阵列为由多个补光灯组成补光阵列。预设为补光阵列设置多个发光策略，不同的发光策略用于发出不同颜色的光源。其中，发光策略中包括每个补光灯的开关状态。处理器20中存储有发光策略，在确定出目标颜色后，处理器20可以根据目标颜色，与存储的发光策略匹配，获取目标颜色对应的发光策略，然后根据发光策略，控制每个补光灯的开关状态，从而使得补光阵列发出目标颜色的光源，该光源可以照射到场景中，改变场景的色温，使得场景的色温与背景图像的色温匹配。

在某些实施方式中，在根据场景的色温对场景进行补光之前，处理器20还可以进行判断场景的色温与背景图像的色温是否匹配，具体地，在获取到场景的色温和背景图像的色温之后，将场景的色温与待融合的背景图像的色温进行比较，获取两个色温的差值，当差值超出预设的色温阈值时，说明场景的色温与背景图像的色温不匹配，可以对场景的色温进行调整。

当场景的色温与待融合的背景图像的色温不匹配时，可以选择其中一个进行调整，或者同时调整。在某些实施方式中，根据场景的色温，调整待融合的背景图像的色温，从而能够调整或者改变背景图像的色温，使得场景的色温与背景图像的色温匹配。

请参阅图12，在根据场景的色温调整背景图像，使得场景的色温与背景图像的色温匹配的情况下，图像处理方法具体包括以下步骤：

S801，检测当前用户所处场景的色温。

S802，启动与场景的色温匹配的虚拟光源，以调整待融合的背景图像的色温，使得场景的色温与背景图像的色温。

S803，获取当前用户的第一视频图像。

S804，获取当前用户的多个深度图像。

S805，根据多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像。

S806，将每一个人物区域图像与对应的所述背景图像融合以得到合并图像。

请参阅图3，本发明实施方式的图像处理方法可以由本发明实施例的图像处理装置100实现。具体地，S801和S803可以由可见光摄像头11实现，S804可以由深度图像采集组件12实现，S802、S805和S806可以由处理器20实现。

关于S801、S803、S804、S805以及S806的具体过程，可参见上述实施例中相关内容的记载，此处不再赘述。

参见图13，在某些实施方式中，S802启动与场景的色温匹配的虚拟光源，以调整待融合的背景图像的色温，使得场景的色温与背景图像的色温匹配具体包括以下步骤：

S901，根据场景的色温，从多个虚拟光源中确定需要开启的目标虚拟光源。

在某些实施方式中，预先为每个背景图像设置多个虚拟光源，然后每个虚拟光源对应不同的色温。为每个色温设置一个标识，从而可以建立色温与虚拟光源之间的对应关系，所述对应关系预先存储在处理器20中。在获取到场景的色温后，处理器可以根据该色温的标识，查询所述对应关系，进而可以确定出与该色温匹配的虚拟光源，并将该虚拟光源作为需要开启的目标虚拟光源。

S902，启动目标虚拟光源照射到背景图像上，调整背景图像的色温，使得场景的色温与背景图像的色温匹配。

在确定了目标虚拟光源后，处理器20可以启动该目标虚拟光源，由目标虚拟光源发出光源，当该光源照射到背景图像上后，背景图像的色温就会在该光源的影响下发生改变，使得背景图像的色温与场景的色温匹配。

在某些实施方式中，在启动与场景的色温匹配的虚拟光源之前，处理器20还可以进行判断场景的色温与背景图像的色温是否匹配，具体地，在获取到场景的色温和背景图像的色温之后，将场景的色温与待融合的背景图像的色温进行比较，获取两个色温的差值，当差值超出预设的色温阈值时，说明场景的色温与背景图像的色温不匹配，可以对背景图像的色温进行调整。

请参阅图14，在根据场景的色温调整背景图像，使得场景的色温与背景图像的色温匹配的情况下，图像处理方法具体包括以下步骤：

S1001，检测当前用户所处场景的色温。

S1002，利用场景的色温调整待融合的背景图像的色温，使得场景的色温与背景图像的色温。

S1003，获取当前用户的第一视频图像。

S1004，获取当前用户的多个深度图像。

S1005，根据多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像。

S1006，将每一个人物区域图像与对应的所述背景图像融合以得到合并图像。

请参阅图3，本发明实施方式的图像处理方法可以由本发明实施例的图像处理装置100实现。具体地，S1001和S1003可以由可见光摄像头11实现，S1004可以由深度图像采集组件12实现，S1005和S1006可以由处理器20实现。

关于S1001、S1003、S1004、S1005以及S1006的具体过程，可参见上述实施例中相关内容的记载，此处不再赘述。

参见图15，在某些实施方式中，S1002利用场景的色温调整待融合的背景图像的色温，使得场景的色温与背景图像的色温匹配具体包括以下步骤：

S1101，将场景的色温与背景图像的色温进行加权得到一个目标色温。

可以预先为场景和背景图像设置色温加权时的权重，并将相应的权重保村到处理器20中。在到场景的色温和背景图像的色温后，处理器20可以分别获取到场景对应的权重和背景图像对应的权重，然后将场景的色温与场景的权重相乘，得到第一数值，将背景图像的色温与背景图像的权重相乘，得到第二数值，将第一数值和第二数值相加，得到一个色温值，该色温值就是目标色温。

S1102，将背景图像的色温调整为目标色温。

在获取到目标色温后，可以将背景图像的色温直接调整成目标色温。由于在加权过程中，综合考虑了场景的色温和背景图像的色温的差异，从而能够使得目标色温更加接近与场景的色温，而且保留了背景图像的原色温所具有的色彩特性，使得背景图像不会出现尖锐的变化，从而在将当前用户的人物区域图像，融合到背景图像中后，融合效果较好更加自然，能够满足用户的需求。

作为一种可能实现方式，直接将场景的色温的作为目标色温，然后将待融合的背景图像的色温替换成目标色温，这样就可以使得背景图像的色温与场景的色温完全一致，在将当前用户的人物区域图像融合到背景图像中时，融合效果更加自然，避免出现融合后给用户视觉上比较突兀的现象。

在某些实施方式中，请参阅图16，在根据场景的色温调整背景图像，使得场景的色温与背景图像的色温匹配的情况下，图像处理方法具体包括以下步骤：

S1201，检测当前用户所处场景的色温。

S1202，启动与场景的色温匹配的虚拟光源，以调整待融合的背景图像的色温，使得场景的色温与背景图像的色温。

S1203，在启动匹配的虚拟光源时发出提醒信息。

S1204，获取当前用户的第一视频图像。

S1205，获取当前用户的多个深度图像。

S1206，根据多个深度图像，处理第一场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像。

S1207，将每一个人物区域图像与对应的所述背景图像融合以得到合并图像。

请参阅图3，本发明实施方式的图像处理方法可以由本发明实施例的图像处理装置100实现。具体地，S1201和S1204可以由可见光摄像头11实现，S1205可以由深度图像采集组件12实现，S1202、S1203、S1206和S1207可以由处理器20实现。

关于S1201和S1202以及S1204～S1207的具体过程，可参见上述实施例中相关内容的记载，此处不再赘述。

本发明实施例中，为了实现在图像融合加入声音，可以将虚拟光源的开启作为一个监听事件，处理器200在监听到虚拟光源开启时，就在开启虚拟光源时，嵌入一个开关开启的提醒信息，该提醒信息可以为声音或者震动等。

参见图17，在某些实施方式中，S1203在启动匹配的虚拟光源时发出提醒信息具体包括以下步骤：

S1301，监听虚拟光源的开启事件。

本发明实施例中，预先将虚拟光源开启设置一个开启事件，并将该开启事件存储到处理器20中。处理器20对开启事件进行监听，当有虚拟光源开启时就会发生一个开启事件，处理器20就可以监听到该开启事件。

S1302，当监听到开启事件时，根据目标虚拟光源的标识，获取与目标虚拟光源匹配的提醒信息。

本发明实施例中，不同的虚拟光源可以对应不同类型的提醒信息。预设为虚拟光源与提醒信息之间建立关联关系并存储在处理器20中。处理器20可以根据需要开启的目标虚拟光源的标识，查询上述关联关系，然后获取到与目标虚拟光源匹配的提醒信息。提醒信息可以包括声音、震动、铃音等。

S1303，按照与目标虚拟光源对应的格式发出提醒信息。

不同的虚拟光源可以对应不同的提醒格式，例如，提醒信息为声音时，可以设置不同的音量和/或提醒持续时长等。处理器20在确定出提醒信息后，就可以按照目标虚拟光源对应的格式，发出该提醒信息。

本实施例中提供的图像处理方法，通过在开启虚拟光源时，添加提醒信息，从而构建出一个有声的融合场景，增加趣味性，而且能够让用户感知到融合的发生，提高用户感受。

在某些实施方式中，在启动与场景的色温匹配的虚拟光源之前，处理器20还可以进行判断场景的色温与背景图像的色温是否匹配，具体地，在获取到场景的色温和背景图像的色温之后，将场景的色温与待融合的背景图像的色温进行比较，获取两个色温的差值，当差值超出预设的色温阈值时，说明场景的色温与背景图像的色温不匹配，可以同时调整场景的色温和背景图像的色温，使得场景的色温与背景图像的色温匹配。

参见图18，同时调整场景的色温和背景图像的色温，使得场景的色温与背景图像的色温匹配具体包括以下步骤：

S1401，获取场景的色温与背景图像的色温的差值。

S1402，根据所述差值调整场景的色温与背景图像的色温，以消除场景的色温与背景图像的色温的差值，使得场景的色温与背景图像的色温匹配。

具体地，处理器200可以比较出场景色温与背景图像的色温之间的大小，然后根据所述差值将色温大的调整对象的色温降低，例如可以将该调整对象的色温从当前值降低一半差值，得到该调整对象的色温。进一步地，根据所述差值将色温小的调整对象的色温升高，例如可以将该调整对象的色温从当前值升高一半差值，得到该调整对象的色温。

举例说明，场景的色温比背景图像的色温高2000K，处理器20可以将场景的色温降低1000K，背景图像的色温升高1000K。

本实施例中，由于在调整过程中，综合考虑了场景的色温和背景图像的色温的差异，从而能够使得目标色温更加接近与场景的色温，而且保留了背景图像的原色温所具有的色彩特性，使得背景图像不会出现尖锐的变化，从而在将当前用户的人物区域图像，融合到背景图像中后，融合效果较好更加自然，能够满足用户的需求。

请一并参阅图3和图19，本发明实施方式还提出一种电子装置1000。电子装置1000包括图像处理装置100。图像处理装置100可以利用硬件和/或软件实现。图像处理装置100包括成像设备10和处理器20。

成像设备10包括可见光摄像头11和深度图像采集组件12。

具体地，可见光摄像头11包括图像传感器111和透镜112，可见光摄像头11可用于捕捉当前用户的彩色信息以获得场景图像，其中，图像传感器111包括彩色滤镜阵列(如Bayer滤镜阵列)，透镜112的个数可为一个或多个。可见光摄像头11在获取场景图像过程中，图像传感器111中的每一个成像像素感应来自拍摄场景中的光强度和波长信息，生成一组原始图像数据；图像传感器111将该组原始图像数据发送至处理器20中，处理器20对原始图像数据进行去噪、插值等运算后即得到彩色的场景图像。处理器20可按多种格式对原始图像数据中的每个图像像素逐一处理，例如，每个图像像素可具有8、10、12或14比特的位深度，处理器20可按相同或不同的位深度对每一个图像像素进行处理。

深度图像采集组件12包括结构光投射器121和结构光摄像头122，深度图像采集组件12可用于捕捉当前用户的深度信息以得到深度图像。结构光投射器121用于将结构光投射至当前用户，其中，结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头122包括图像传感器1221和透镜1222，透镜1222的个数可为一个或多个。图像传感器1221用于捕捉结构光投射器121投射至当前用户上的结构光图像。结构光图像可由深度采集组件12发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前用户的深度信息。

在某些实施方式中，可见光摄像头11与结构光摄像头122的功能可由一个摄像头实现，也即是说，成像设备10仅包括一个摄像头和一个结构光投射器121，上述摄像头不仅可以拍摄场景图像，还可拍摄结构光图像。

除了采用结构光获取深度图像外，还可通过双目视觉方法、基于飞行时间差(Timeof Flight，TOF)等深度像获取方法来获取当前用户的深度图像。

处理器20进一步用于将由从场景图像和深度图像中提取的人物区域图像与预定二维背景图像融合。在提取人物区域图像时，处理器20可以结合深度图像中的深度信息从场景图像中提取出二维的人物区域图像，也可以根据深度图像中的深度信息建立人物区域的三维图，再结合场景图像中的色彩信息对三维的人物区域进行颜色填补以得到三维的彩色的人物区域图像。因此，融合处理人物区域图像和预定二维背景图像时可以是将二维的人物区域图像与预定二维背景图像进行融合以得到合并图像，也可以是将三维的彩色的人物区域图像与预定二维背景图像进行融合以得到合并图像。

此外，图像处理装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中，也可以是独立于电子装置1000外的存储器，并可包括直接存储器存取(DirectMemory Access，DMA)特征。可见光摄像头11采集的原始图像数据或深度图像采集组件12采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取原始图像数据以进行处理得到场景图像，也可从图像存储器30中读取结构光图像相关数据以进行处理得到深度图像。另外，场景图像和深度图像还可存储在图像存储器30中，以供处理器20随时调用处理，例如，处理器20调用场景图像和深度图像进行人物区域提取，并将提后的得到的人物区域图像与预定二维背景图像进行融合处理以得到合并图像。其中，预定二维背景图像和合并图像也可存储在图像存储器30中。

图像处理装置100还可包括显示器50。显示器50可直接从处理器20中获取合并图像，还可从图像存储器30中获取合并图像。显示器50显示合并图像以供用户观看，或者由图形引擎或图形处理器(Graphics Processing Unit，GPU)进行进一步的处理。图像处理装置100还包括编码器/解码器60，编码器/解码器60可编解码场景图像、深度图像及合并图像等的图像数据，编码的图像数据可被保存在图像存储器30中，并可以在图像显示在显示器50上之前由解码器解压缩以进行显示。编码器/解码器60可由中央处理器(CentralProcessing Unit，CPU)、GPU或协处理器实现。换言之，编码器/解码器60可以是中央处理器(Central Processing Unit，CPU)、GPU、及协处理器中的任意一种或多种。

图像处理装置100还包括控制逻辑器40。成像设备10在成像时，处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数(例如，曝光时间等)的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40，控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。

请参阅图20，本发明实施方式的电子装置1000包括一个或多个处理器200、存储器300和一个或多个程序310。其中一个或多个程序310被存储在存储器300中，并且被配置成由一个或多个处理器200执行。程序310包括用于执行上述任意一项实施方式的图像处理方法的指令。

例如，程序310包括用于执行以完成上述实施例所述的图像处理方法的指令。

本发明实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的图像处理方法。

例如，计算机程序可被处理器200执行以完成上述实施例所述的图像处理方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，用于电子装置，其特征在于，所述图像处理方法包括：

检测当前用户所处场景的色温；

根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，所述待融合对象为选取的背景图像和/或所述当前用户的人物区域图像；

获取所述当前用户的第一视频图像；

获取所述当前用户的多个深度图像；

根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像；

将每一个所述人物区域图像与对应的所述背景图像融合以得到合并图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述获取所述当前用户的多个深度图像的步骤包括：

向所述当前用户投射结构光；

拍摄经所述当前用户调制的结构光图像；和

解调所述结构光图像的各个像素对应的相位信息以得到所述多个深度图像中的一个深度图像。

3.根据权利要求2所述的图像处理方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像的步骤包括：

解调所述结构光图像中各个像素对应的相位信息；

将所述相位信息转化为深度信息；和

根据所述深度信息生成所述深度图像。

4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像的步骤包括：

针对每一帧场景图像，识别所述场景图像中的人脸区域；

从所述场景图像对应的深度图像中获取与所述人脸区域对应的深度信息；

根据所述人脸区域的深度信息确定所述人物区域的深度范围；和

根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。

5.根据权利要求4所述的图像处理方法，其特征在于，所述图像处理方法还包括：

处理所述场景图像以得到所述场景图像的全场边缘图像；和

根据所述全场边缘图像修正所述人物区域图像。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配，包括：

若所述场景的色温与所述背景图像的色温不匹配，根据所述场景的色温，对所述场景进行补光，调整所述场景的色温，使得所述述场景的色温与所述背景图像的色温匹配。

7.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配，包括：

若所述场景的色温与所述背景图像的色温不匹配，根据所述场景的色温，调整所述背景图像，使得所述述场景的色温与所述背景图像的色温匹配。

8.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配，包括：

若所述场景的色温与所述背景图像的色温不匹配，根据所述场景的色温，同时调整所述场景和所述背景图像的色温，使得所述述场景的色温与所述背景图像的色温匹配。

9.根据权利要求8所述的图像处理方法，其特征在于，所述根据所述场景的色温，同时调整所述场景和所述背景图像的色温，包括：

获取所述场景的色温与所述背景图像的色温的差值；

根据所述差值调整所述场景的色温与所述背景图像的色温，以消除所述场景的色温与所述背景图像的色温的差值，使得所述场景的色温与所述背景图像的色温匹配。

10.一种图像处理装置，用于电子装置，其特征在于，所述图像处理装置包括：

可见光摄像头，所述可见光摄像头用于检测当前用户所处场景的色温，以及获取当前用户的第一视频图像；

深度图像采集组件，所述深度图像采集组件用于获取所述当前用户的多个深度图像；

处理器，所述处理器用于：

根据所述场景的色温调整待融合对象，以使待融合对象的色温匹配；其中，所述待融合对象为所述背景图像和/或所述当前用户的人物区域图像；

根据所述多个深度图像，处理所述第一场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的所述人物区域图像；

将每一个所述人物区域图像与对应的所述背景图像融合以得到合并图像。

11.一种电子装置，其特征在于，所述电子装置包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行权利要求1至9任意一项所述的图像处理方法的指令。

12.一种计算机可读存储介质，其特征在于，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至9任意一项所述的图像处理方法。