CN107566777B - 视频聊天的画面处理方法、装置和存储介质 - Google Patents

Abstract

本申请公开了一种视频聊天的画面处理方法、装置、电子装置和存储介质。其中方法包括：获取当前用户的第一深度图像，并获取当前用户所在当前场景的第二深度图像；根据第一深度图像和第二深度图像建立当前场景的三维模型；将当前场景的三维模型作为视频聊天背景显示在视频聊天画面。本申请实施例可以使得视频聊天画面中的视频聊天背景更加真实、更加立体，使得用户更加地具有深入其境的视觉体验，大大提升了用户体验。

Description

视频聊天的画面处理方法、装置和存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视频聊天的画面处理方法、画面处理装置、电子装置和计算机可读存储介质。

背景技术

随着科技水平的发展，手机、平板电脑等终端的功能日益强大。例如，越来越多的终端配置了摄像头，用户可通过摄像头拍摄照片、录像、视频聊天等等。

在用户通过摄像头与对方进行视频聊天的过程，视频画面中不仅会显示用户画面，还会显示用户所在当前场景的环境画面。因此，如何使得视频聊天界面中的当前场景的画面更加立体，进而使得用户更加地具有深入其境的视觉体验，已经成为亟待解决的问题。

发明内容

本申请的目的旨在至少在一定程度上解决上述的技术问题之一。

为此，本申请的第一个目的在于提出一种视频聊天的画面处理方法。该方法可以使得视频聊天画面中的视频聊天背景更加真实、更加立体，使得用户更加地具有深入其境的视觉体验，大大提升了用户体验。

本申请的第二个目的在于提出一种视频聊天的画面处理装置。

本申请的第三个目的在于提出一种电子装置。

本申请的第四个目的在于提出一种计算机可读存储介质。

为了实现上述目的，本申请第一方面实施例提出的视频聊天的画面处理方法，包括：获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型；将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面。

为了实现上述目的，本申请第二方面实施例提出的视频聊天的画面处理装置，包括：深度图像采集组件，所述深度图像采集组件用于获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；处理器，所述处理器用于：获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型；将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面。

为了实现上述目的，本申请第三方面实施例提出的电子装置，包括：一个或多个处理器；存储器；和一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行本申请第一方面实施例所述的视频聊天的画面处理方法的指令。

为了实现上述目的，本申请第四方面实施例提出的计算机可读存储介质，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成本申请第一方面实施例所述的视频聊天的画面处理方法。

本申请实施例的视频聊天的画面处理方法、画面处理装置、电子装置和计算机可读存储介质，通过当前用户的第一深度图像和所述当前用户所在当前场景的第二深度图像，建立该当前场景的三维模型，这样，在视频聊天时，可将建立好的三维模型作为视频聊天背景显示在视频聊天画面。即通过利用结构光对实际背景进行三维建模，使得视频聊天画面中的视频聊天背景更加真实、更加立体，使得用户更加地具有深入其境的视觉体验，大大提升了用户体验。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某些实施方式的视频聊天的画面处理方法的流程图；

图2是本发明某些实施方式的视频聊天的画面处理装置的模块示意图；

图3是本发明某些实施方式的电子装置的结构示意图；

图4是本发明某些实施方式的视频聊天的画面处理方法的流程图；

图5是本发明某些实施方式的视频聊天的画面处理方法的流程图；

图6(a)至图6(e)是根据本发明一个实施例的结构光测量的场景示意图；

图7(a)和图7(b)根据本发明一个实施例的结构光测量的场景示意图；

图8是本发明某些实施方式的视频聊天的画面处理方法的流程图；

图9是本发明某些实施方式的视频聊天的画面处理方法的流程图；

图10是本发明某些实施方式的电子装置的模块示意图；

图11是本发明某些实施方式的电子装置的模块示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。

下面参考附图描述本申请实施例的视频聊天的画面处理方法、画面处理装置、电子装置和计算机可读存储介质。

请一并参阅图1至2，本申请实施例的视频聊天的画面处理方法可应用于本申请实施例的电子装置1000。该视频聊天的画面处理方法可以包括：

S110，获取当前用户的第一深度图像，并获取当前用户所在当前场景的第二深度图像。

S120，根据第一深度图像和第二深度图像建立当前场景的三维模型。

S130，将当前场景的三维模型作为视频聊天背景显示在视频聊天画面。

请参阅图3，本申请实施例的视频聊天的画面处理方法可以由本申请实施例的视频聊天的画面处理装置100实现。本申请实施例的视频聊天的画面处理装置100可用于本申请实施例的电子装置1000。视频聊天的画面处理装置100可包括深度图像采集组件10和处理器20。上述步骤S110可以由深度图像采集组件10实现，步骤S120～步骤S130可以由处理器20实现。

也就是说，深度图像采集组件10可用于获取当前用户的第一深度图像，并获取当前用户所在当前场景的第二深度图像。处理器20可用于根据第一深度图像和第二深度图像建立当前场景的三维模型，并将当前场景的三维模型作为视频聊天背景显示在视频聊天画面中。

其中，所述第二深度图像表征包含当前用户的背景中各个人或物体的深度信息，所述当前用户的第一深度图像表征包含所述当前用户的背景中人物的深度信息。所述第二深度图像的场景范围与所述当前用户的第一深度图像的场景范围一致，且所述第二深度图像中的各个像素均能在所述第一深度图像中找到对应该像素的深度信息。

本申请实施例的视频聊天的画面处理装置100可以应用于本申请实施例的电子装置1000。也就是说，本申请实施例的电子装置1000可包括本申请实施例的视频聊天的画面处理装置100。

在某些实施方式中，该电子装置1000可具有拍摄功能，并且该拍摄功能是利用结构光原理进行深度图像的拍摄。例如，该电子装置1000可以是智能手机、平台电脑、智能头盔、智能眼镜等；还可以是VR(Virtual Reality，虚拟现实技术)设备、AR(AugmentedReality，增强现实技术)设备等。例如，该电子装置1000可为智能手机，本申请实施例的视频聊天的画面处理方法适用于通过该智能手机进行视频聊天的场景中。

由于深度图像的获取不易受光照、场景中色彩分布等因素的影响，且深度图像中所包含的深度信息具有更高的准确性，因此，通过深度图像来建立用户所在当前场景环境的三维模型，会更加准确，进一步地，将该较为精准的三维模型作为视频聊天背景显示在视频聊天画面，使得视频聊天背景的效果更佳，增加用户的视觉效果。

作为一种示例，请参阅图4，在某些实施方式中，上述步骤S110获取当前用户的第一深度图像的步骤可包括：

S1101，向当前用户投射结构光；

S1102，拍摄经当前用户调制的结构光图像；

S1103，解调结构光图像的各个像素对应的相位信息以得到第一深度图像。

请再参阅图3，在某些实施方式中，深度图像采集组件10可包括结构光投射器11和结构光摄像头12。步骤S1101可以由结构光投射器11实现，步骤S1102和步骤S1103可以由结构光摄像头12实现。

也就是说，结构光投射器11可用于向当前用户投射结构光；结构光摄像头12可用于拍摄经所述当前用户调制的结构光图像，并解调所述结构光图像的各个像素对应的相位信息以得到所述第一深度图像。

举例而言，结构光投射器11可将一定模式的结构光投射到当前用户的面部及躯体上后，在当前用户的面部及躯体的表面会形成由当前用户调制后的结构光图像。结构光摄像头12拍摄经调制后的结构光图像，再对结构光图像进行解调以得到该当前用户的第一深度图像。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。

请参阅图5，在某些实施方式中，步骤S1103解调结构光图像的各个像素对应的相位信息以得到第一深度图像的步骤可包括：

S11031，解调结构光图像中各个像素对应的相位信息；

S11032，将相位信息转化为深度信息；

S11033，根据深度信息生成所述当前用户的第一深度图像。

请再参阅图2，在某些实施方式中，步骤S11031、步骤S11032和步骤S11033均可以由结构光摄像头12实现。

也就是说，结构光摄像头12可进一步用于解调结构光图像中各个像素对应的相位信息，将该相位信息转化为深度信息，以及根据该深度信息生成所述第一深度图像。

举例而言，与未经调制的结构光相比，调制后的结构光的相位信息发生了变化，在结构光图像中呈现出的结构光是产生了畸变之后的结构光，其中，变化的相位信息即可表征物体的深度信息。因此，结构光摄像头12首先解调出结构光图像中各个像素对应的相位信息，再根据相位信息计算出深度信息，从而得到最终的第一深度图像。

为了使本领域的技术人员更加清楚的了解根据结构来采集当前用户的面部及躯体的深度图像的过程，下面以一种应用广泛的光栅投影技术(条纹投影技术)为例来阐述其具体原理。其中，光栅投影技术属于广义上的面结构光。

如图6(a)所示，在使用面结构光投影的时候，首先通过计算机编程产生正弦条纹，并将正弦条纹通过结构光投射器11投射至被测物，再利用结构光摄像头12拍摄条纹受物体调制后的弯曲程度，随后解调该弯曲条纹得到相位，再将相位转化为深度信息即可获取深度图像。为避免产生误差或误差耦合的问题，使用结构光进行深度信息采集前需对深度图像采集组件10进行参数标定，标定包括几何参数(例如，结构光摄像头12与结构光投射器11之间的相对位置参数等)的标定、结构光摄像头12的内部参数以及结构光投射器11的内部参数的标定等。

具体而言，第一步，计算机编程产生正弦条纹。由于后续需要利用畸变的条纹获取相位，比如采用四步移相法获取相位，因此这里产生四幅相位差为

的条纹，然后结构光投射器11将该四幅条纹分时投射到被测物(如图6(a)所示的面具)上，结构光摄像头12采集到如图6(b)左边的图，同时要读取如图6(b)右边所示的参考面的条纹。

第二步，进行相位恢复。结构光摄像头12根据采集到的四幅受调制的条纹图(即结构光图像)计算出被调制相位，此时得到的相位图是截断相位图。因为四步移相算法得到的结果是由反正切函数计算所得，因此结构光调制后的相位被限制在[-π,π]之间，也就是说，每当调制后的相位超过[-π,π]，其又会重新开始。最终得到的相位主值如图6(c)所示。

其中，在进行相位恢复过程中，需要进行消跳变处理，即将截断相位恢复为连续相位。如图6(d)所示，左边为受调制的连续相位图，右边是参考连续相位图。

第三步，将受调制的连续相位和参考连续相位相减得到相位差(即相位信息)，该相位差表征了被测物相对参考面的深度信息，再将相位差代入相位与深度的转化公式(其中，公式中涉及到的参数经过标定)，即可得到如图6(e)所示的待测物体的三维模型。

应当理解的是，在实际应用中，根据具体应用场景的不同，本申请实施例中所采用的结构光除了上述光栅之外，还可以是其他任意图案。

作为一种可能的实现方式，本申请还可使用散斑结构光进行当前用户的深度信息的采集。

具体地，散斑结构光获取深度信息的方法是使用一基本为平板的衍射元件，该衍射元件具有特定相位分布的浮雕衍射结构，横截面为具有两个或多个凹凸的台阶浮雕结构。衍射元件中基片的厚度大致为1微米，各个台阶的高度不均匀，高度的取值范围可为0.7微米～0.9微米。图7(a)所示结构为本实施例的准直分束元件的局部衍射结构。图7(b)为沿截面A-A的剖面侧视图，横坐标和纵坐标的单位均为微米。散斑结构光生成的散斑图案具有高度的随机性，并且会随着距离的不同而变换图案。因此，在使用散斑结构光获取深度信息前，首先需要标定出空间中的散斑图案，例如，在距离结构光摄像头12的0～4米的范围内，每隔1厘米取一个参考平面，则标定完毕后就保存了400幅散斑图像，标定的间距越小，获取的深度信息的精度越高。随后，结构光投射器11将散斑结构光投射到被测物(如当前用户)上，被测物表面的高度差使得投射到被测物上的散斑结构光的散斑图案发生变化。结构光摄像头12拍摄投射到被测物上的散斑图案(即结构光图像)后，再将散斑图案与前期标定后保存的400幅散斑图像逐一进行互相关运算，进而得到400幅相关度图像。空间中被测物体所在的位置会在相关度图像上显示出峰值，把上述峰值叠加在一起并经过插值运算后即可得到被测物的深度信息。

由于普通的衍射元件对光束进行衍射后得到多数衍射光，但每束衍射光光强差别大，对人眼伤害的风险也大。即便是对衍射光进行二次衍射，得到的光束的均匀性也较低。因此，利用普通衍射元件衍射的光束对被测物进行投射的效果较差。本实施例中采用准直分束元件，该元件不仅具有对非准直光束进行准直的作用，还具有分光的作用，即经反射镜反射的非准直光经过准直分束元件后往不同的角度出射多束准直光束，且出射的多束准直光束的截面面积近似相等，能量通量近似相等，进而使得利用该光束衍射后的散点光进行投射的效果更好。同时，激光出射光分散至每一束光，进一步降低了伤害人眼的风险，且散斑结构光相对于其他排布均匀的结构光来说，达到同样的采集效果时，散斑结构光消耗的电量更低。

还需要说明的是，上述获取当前用户的第一深度图像的实现方式，也适用于上述当前场景的第二深度图像的获取，其所述第二深度图像的获取方式的描述可参见上述当前用户的第一深度图像的获取方式的描述，在此不再赘述。

请参阅图8，在某些实施方式中，步骤S120根据第一深度图像和第二深度图像建立当前场景的三维模型的步骤可包括：

S1201，处理第一深度图像和第二深度图像以提取当前用户在第二深度图像中的人物区域而获得人物区域图像；

S1202，根据人物区域图像和第二深度图像，获得第二深度图像中除人物区域图像之外的其他背景区域图像；

S1203，获取针对当前场景的多个叠加拍摄位置，并获取在多个叠加拍摄位置上拍摄到的多张第三深度图像，多张第三深度图像包含当前场景中被人物区域遮挡的背景部分；

S1204，根据多张第三深度图像获取背景部分的深度信息；

S1205，将背景部分的深度信息合成至其他背景区域图像中，得到滤除人物区域后的背景深度图像；

S1206，根据背景深度图像建立当前场景的三维模型。

请再参阅图2，在某些实施方式中，步骤S1201、步骤S1202、步骤S1203、步骤S1204、步骤S1205和步骤S1206均由处理器20实现。

也就是说，处理器20可进一步用于识别第二深度图像中的人脸区域，并从第一深度图像中获取与该人脸区域对应的深度信息，并根据该人脸区域的深度信息确定该人物区域的深度范围，以及根据该人物区域的深度范围确定与该人脸区域连接且落入该深度范围内的人物区域以获得所述人物区域图像。

具体地，首先可采用已训练好的深度学习模型识别出第二深度图像中的人脸区域，随后根据第二深度图像与第一深度图像的对应关系可确定出人脸区域的深度信息。由于人脸区域包括鼻子、眼睛、耳朵、嘴唇等特征，因此，人脸区域中的各个特征在第一深度图像中所对应的深度数据是不同的，例如，在人脸正对深度图像采集组件12时，深度图像采集组件12拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，上述的人脸区域的深度信息可能为一个数值或是一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据取平均值得到；或者，可以通过对人脸区域的深度数据取中值得到。

由于人物区域包含人脸区域，也即是说，人物区域与人脸区域同处于某一个深度范围内，因此，处理器20确定出人脸区域的深度信息后，可以根据人脸区域的深度信息设定人物区域的深度范围，再根据人物区域的深度范围提取落入该深度范围内且与人脸区域相连接的人物区域以获得人物区域图像。

如此，即可根据深度信息从第二深度图像中提取出人物区域图像。由于深度信息的获取不受环境中光照、色温等因素的影像响，因此，提取出的人物区域图像更加准确。

处理器20在获得人物区域图像之后，可根据人该人物区域图像对该第二深度图像进行处理，以提取出该第二深度图像中除人物区域图像之外的其他背景区域图像，即该其他背景区域图像不包含该人物区域所遮挡的背景区域的图像，之后，可根据人物区域与所述当前场景的相对位置以及所述当前场景被该人物区域所遮挡的程序，获取针对所述当前场景的多个叠加拍摄位置，并在多个叠加拍摄位置上通过深度图像采集组件10对所述当前场景进行拍摄，以得到对应的多张第三深度图像，多张第三深度图像包含当前场景中被人物区域遮挡的背景部分，并根据该多张第三深度图像获取所述背景部分的深度信息，该背景部分可理解为包含当前场景中被人物区域遮挡的那部分背景；然后，将该背景部分的深度信息替换掉所述其他背景区域图像中的包含所述人物区域的当前场景的深度信息，得到滤除所述人物区域后的背景深度图像；最后，可根据该背景深度图像建立当前场景的三维模型。进而实现利用结构光对视频用户所在的当前场景的实际背景进行三维建模的功能。

可以理解，可根据人物区域与所述当前场景的相对位置判断深度图像采集组件10往哪个方向移动容易将当前场景被人物区域遮挡的部分拍入深度图像中，并根据当前场景被人物区域遮挡的程度，判断需要在多少个叠加拍摄位置获得深度图像。

请参阅图9，在某些实施方式中，步骤S1204根据多张第三深度图像获取所述背景部分的深度信息的步骤可包括：

S12041，对于多个叠加拍摄位置中的每个叠加拍摄位置，计算叠加拍摄位置与原始拍摄位置之间的拍照角度差；其中，该原始拍摄位置可理解为电子装置1000接收用户拍照请求指令的位置，即拍摄到所述当前场景的第二深度图像的位置。

S12042，根据拍照角度差，计算叠加拍摄位置对应的投影面；

S12043，将叠加拍摄位置对应的第三深度图像投影在叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像；

S12044，将待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取背景部分的深度信息。

请再参阅图2，在某些实施方式中，步骤S12041、步骤S12042、步骤S12043和步骤S12044均由处理器20实现。

在本申请的实施例中，拍照角度差指的是第一连线与第二连线的夹角。其中，该第一连线可理解为原始拍摄位置镜头的中心与当前场景中心的连线，第二连线可理解为叠加拍摄位置镜头的中心与当前场景中心的连线。当前场景中心是指镜头所拍摄的范围的中心。拍照角度差可由三轴陀螺仪获取。处理器20可进一步用于根据该拍照角度差，计算叠加拍摄位置对应的投影面，每个叠加拍摄位置对应的投影面都与第二深度图像所在平面像平行。将每张叠加拍摄位置上的第三深度图像投影在其叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像，然后将该待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取所述背景部分的深度信息。

作为一种示例，该视频聊天的画面处理方法还可包括：将所述当前场景的三维模型进行存储，构建多样化的三维背景数据库。请再参阅图2，在某些实施方式中，该步骤可由处理器20实现。也就是说，处理器20还可用于在根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型之后，可将该当前场景的三维模型进行存储，以构建多样化的三维背景数据库。由此，通过该三维背景数据库，用户可以从该数据库中找出自己喜好的三维背景模型，并将该三维背景模型作为视频聊天背景显示在视频聊天界面中，提高了用户视频聊天的趣味。

请一并参阅图3和图10，本申请实施例还提出了一种电子装置1000。电子装置1000可包括视频聊天的画面处理装置100。视频聊天的画面处理装置100可以利用硬件和/或软件实现。视频聊天的画面处理装置100可包括深度图像采集组件10和处理器20。

具体地，深度图像采集组件10可包括结构光投射器11和结构光摄像头12，深度图像采集组件10可用于捕捉当前用户的深度信息以得到所述当前用户的第一深度图像，并捕捉所述当前用户所在当前场景的深度信息以得到第二深度图像。例如，以深度图像采集组件10捕捉当前用户的深度信息以得到所述当前用户的第一深度图像为例，结构光投射器11可用于将结构光投射至当前用户，其中，结构光图案可以是激光条纹、格雷码、正弦条纹或者随机排列的散斑图案等。结构光摄像头12包括图像传感器121和透镜122，透镜122的个数可为一个或多个。图像传感器121可用于捕捉结构光投射器11投射至当前用户上的结构光图像。结构光图像可由深度图像采集组件10发送至处理器20进行解调、相位恢复、相位信息计算等处理以获取当前用户的深度信息。可以理解，场景的深度信息的实施方式可参见上述当前用户的深度信息的实施方式，在此不再赘述。

在某些实施方式中，视频聊天的画面处理装置100可包括成像设备110，该成像设备110可包括深度图像采集组件10和可见光摄像头111。其中，该可见光摄像头111可用于捕捉被拍物体的彩色信息以获得彩色图像。该可见光摄像头111与结构光摄像头12的功能可由一个摄像头实现，也就是说，成像设备10仅包括一个摄像头和一个结构光投射器11，上述摄像头不仅可以拍摄彩色图像，还可以拍摄结构光图像。

除了采用结构光获取深度图像外，还可通过双目视觉方法、基于飞行时间差(Timeof Flight，TOF)等深度像获取方法来获取当前用户的第一深度图像和所述当前场景的第二深度图像。

处理器20进一步根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型，并将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面。

此外，视频聊天的画面处理装置100还包括图像存储器30。图像存储器30可内嵌在电子装置1000中，也可以是独立于电子装置1000外的存储器，并可包括直接存储器存取(Direct Memory Access，英文简称为DMA)特征。可见光摄像头111采集的原始图像数据或深度图像采集组件10采集的结构光图像相关数据均可传送至图像存储器30中进行存储或缓存。处理器20可从图像存储器30中读取结构光图像相关数据以进行处理得到所述当前用户的第一深度图像和所述当前场景的第二深度图像。另外，所述当前用户的第一深度图像和所述当前场景的第二深度图像还可存储在图像存储器30中，以供处理器20随时调用处理，例如，处理器20调用所述当前用户的第一深度图像，并调用所述当前场景的第二深度图像，并根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型。其中，可将建立的所述当前场景的三维模型存储在图像存储器30中，以构建多样化的三维背景数据库。

视频聊天的画面处理装置100还可包括显示器50。显示器50可显示视频双方用户的视频聊天界面，该视频聊天界面中可包含人物区域图像和当前场景的背景图像。在双方用户进行视频聊天的过程中，如果用户所在当前场景的三维模型建立完成，处理器20则可将该三维模型作为视频聊天背景，并通过显示器50显示在视频聊天画面中。视频聊天的画面处理装置100还可包括编码器/解码器60，编码器/解码器60可编解码所述当前用户的第一深度图像、及所述当前场景的第二深度图像等的图像数据，编码的图像数据可被保存在图像存储器30中，并可以在图像显示在显示器50上之前由解码器解压缩以进行显示。编码器/解码器60可由中央处理器(Central Processing Unit，CPU)、GPU或协处理器实现。换言之，编码器/解码器60可以是中央处理器(Central Processing Unit，CPU)、GPU、及协处理器中的任意一种或多种。

视频聊天的画面处理装置100还包括控制逻辑器40。成像设备10在成像时，处理器20会根据成像设备获取的数据进行分析以确定成像设备10的一个或多个控制参数(例如，曝光时间等)的图像统计信息。处理器20将图像统计信息发送至控制逻辑器40，控制逻辑器40控制成像设备10以确定好的控制参数进行成像。控制逻辑器40可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的图像统计信息确定成像设备10的控制参数。

请参阅图11，本申请实施例的1000可包括一个或多个处理器200、存储器300和一个或多个程序310。其中一个或多个程序310被存储在存储器300中，并且被配置成由一个或多个处理器200执行。程序310包括用于执行上述任意一项实施方式的视频聊天的画面处理方法的指令。

例如，程序310可包括用于执行以下步骤所述的视频聊天的画面处理方法的指令：

S110’，获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；

S120’，根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型；

S130’，将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面

再例如，程序310还包括用于执行以下步骤所述的视频聊天的画面处理方法的指令：

S11031’，解调结构光图像中各个像素对应的相位信息；

S11032’，将相位信息转化为深度信息；

S11033’，根据深度信息生成所述当前用户的第一深度图像。

又例如，程序310还包括用于执行以下步骤所述的视频聊天的画面处理方法的指令：

S1201’，处理第一深度图像和第二深度图像以提取当前用户在第二深度图像中的人物区域而获得人物区域图像；

S1202’，根据人物区域图像和第二深度图像，获得第二深度图像中除人物区域图像之外的其他背景区域图像；

S1203’，获取针对当前场景的多个叠加拍摄位置，并获取在多个叠加拍摄位置上拍摄到的多张第三深度图像，多张第三深度图像包含当前场景中被人物区域遮挡的背景部分；

S1204’，根据多张第三深度图像获取背景部分的深度信息；

S1205’，将背景部分的深度信息合成至其他背景区域图像中，得到滤除人物区域后的背景深度图像；

S1206’，根据背景深度图像建立当前场景的三维模型。

又如，程序310还包括用于执行以下步骤所述的视频聊天的画面处理方法的指令：

S12041’，对于多个叠加拍摄位置中的每个叠加拍摄位置，计算叠加拍摄位置与原始拍摄位置之间的拍照角度差；其中，该原始拍摄位置可理解为电子装置1000接收用户拍照请求指令的位置，即拍摄到所述当前场景的第二深度图像的位置。

S12042’，根据拍照角度差，计算叠加拍摄位置对应的投影面；

S12043’，将叠加拍摄位置对应的第三深度图像投影在叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像；

S12044’，将待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取背景部分的深度信息。

本申请实施方式的计算机可读存储介质包括与能够摄像的电子装置1000结合使用的计算机程序。计算机程序可被处理器200执行以完成上述任意一项实施方式的视频聊天的画面处理方法。

例如，计算机程序可被处理器200执行以完成以下步骤所述的视频聊天的画面处理方法：

S110’，获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；

S120’，根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型；

S130’，将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面

再例如，计算机程序可被处理器200执行以完成以下步骤所述的视频聊天的画面处理方法：

S11031’，解调结构光图像中各个像素对应的相位信息；

S11032’，将相位信息转化为深度信息；

S11033’，根据深度信息生成所述当前用户的第一深度图像。

又例如，计算机程序可被处理器200执行以完成以下步骤所述的视频聊天的画面处理方法：

S1201’，处理第一深度图像和第二深度图像以提取当前用户在第二深度图像中的人物区域而获得人物区域图像；

S1202’，根据人物区域图像和第二深度图像，获得第二深度图像中除人物区域图像之外的其他背景区域图像；

S1203’，获取针对当前场景的多个叠加拍摄位置，并获取在多个叠加拍摄位置上拍摄到的多张第三深度图像，多张第三深度图像包含当前场景中被人物区域遮挡的背景部分；

S1204’，根据多张第三深度图像获取背景部分的深度信息；

S1205’，将背景部分的深度信息合成至其他背景区域图像中，得到滤除人物区域后的背景深度图像；

S1206’，根据背景深度图像建立当前场景的三维模型。

又如，计算机程序可被处理器200执行以完成以下步骤所述的视频聊天的画面处理方法：

S12041’，对于多个叠加拍摄位置中的每个叠加拍摄位置，计算叠加拍摄位置与原始拍摄位置之间的拍照角度差；其中，该原始拍摄位置可理解为电子装置1000接收用户拍照请求指令的位置，即拍摄到所述当前场景的第二深度图像的位置。

S12042’，根据拍照角度差，计算叠加拍摄位置对应的投影面；

S12043’，将叠加拍摄位置对应的第三深度图像投影在叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像；

S12044’，将待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取背景部分的深度信息。

综上，本申请实施方式的视频聊天的画面处理方法、画面处理装置、电子装置和计算机可读存储介质，通过当前用户的第一深度图像和所述当前用户所在当前场景的第二深度图像，建立该当前场景的三维模型，这样，在视频聊天时，可将建立好的三维模型作为视频聊天背景显示在视频聊天画面。即通过利用结构光对实际背景进行三维建模，使得视频聊天画面中的视频聊天背景更加真实、更加立体，使得用户更加地具有深入其境的视觉体验，大大提升了用户体验。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种视频聊天的画面处理方法，其特征在于，包括以下步骤：

获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像，其中，所述第二深度图像表征包含所述当前用户的背景中各个人或物体的深度信息，所述当前用户的第一深度图像表征包含所述当前用户的背景中人物的深度信息；所述第二深度图像的场景范围与所述当前用户的第一深度图像的场景范围一致，且所述第二深度图像中的各个像素均能在所述第一深度图像中找到对应像素的深度信息；

根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型，其中，所述当前场景的三维模型为所述当前场景的实际背景的三维模型，所述实际背景包括所述当前场景中被人物区域遮挡的背景部分和所述当前场景中除所述人物区域之外的其他背景区域；其中，所述被人物区域遮挡的背景部分是通过针对所述当前场景的多个叠加拍摄位置进行深度图像拍摄而获得的；

将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面；

其中，所述获取当前用户的第一深度图像，包括：

通过结构光投射器将散斑结构光投射到当前用户上，所述当前用户表面的高度差使得投射到所述当前用户上的散斑结构光的散斑图案发生变化，再利用结构光摄像头拍摄投射到所述当前用户上的散斑图案后，再利用散斑图案与预先标定所保存的多幅散斑图像逐一进行相关运算，以得到多幅相关度图像，空间中所述当前用户所在的位置在所述相关度图像上显示出峰值，将所述峰值进行叠加并经过插值运算后，以得到所述当前用户的深度图像。

2.如权利要求1所述的方法，其特征在于，所述获取当前用户的第一深度图像，包括：

向所述当前用户投射结构光；

拍摄经所述当前用户调制的结构光图像；

解调所述结构光图像的各个像素对应的相位信息以得到所述第一深度图像。

3.如权利要求2所述的方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述第一深度图像，包括：

解调所述结构光图像中的各个像素对应的相位信息；

将所述相位信息转化为深度信息；

根据所述深度信息生成所述第一深度图像。

4.如权利要求1所述的方法，其特征在于，所述根据第一深度图像和所述第二深度图像建立所述当前场景的三维模型，包括：

处理所述第一深度图像和所述第二深度图像以提取所述当前用户在所述第二深度图像中的人物区域而获得人物区域图像；

根据所述人物区域图像和所述第二深度图像，获得所述第二深度图像中除所述人物区域图像之外的其他背景区域图像；

获取针对所述当前场景的多个叠加拍摄位置，并获取在所述多个叠加拍摄位置上拍摄到的多张第三深度图像，所述多张第三深度图像包含所述当前场景中被所述人物区域遮挡的背景部分；

根据所述多张第三深度图像获取所述背景部分的深度信息；

将所述背景部分的深度信息合成至所述其他背景区域图像中，得到滤除所述人物区域后的背景深度图像；

根据所述背景深度图像建立所述当前场景的三维模型。

5.如权利要求4所述的方法，其特征在于，所述根据多张第三深度图像获取所述背景部分的深度信息，包括：

对于所述多个叠加拍摄位置中的每个叠加拍摄位置，计算所述叠加拍摄位置与原始拍摄位置之间的拍照角度差；

根据所述拍照角度差，计算所述叠加拍摄位置对应的投影面；

将所述叠加拍摄位置对应的第三深度图像投影在所述叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像；

将所述待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取所述背景部分的深度信息。

6.如权利要求1至5中任一项所述的方法，其特征在于，还包括：

将所述当前场景的三维模型进行存储，构建多样化的三维背景数据库。

7.一种视频聊天的画面处理装置，其特征在于，包括：

深度图像采集组件，所述深度图像采集组件用于获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像，其中，所述第二深度图像表征包含所述当前用户的背景中各个人或物体的深度信息，所述当前用户的第一深度图像表征包含所述当前用户的背景中人物的深度信息；所述第二深度图像的场景范围与所述当前用户的第一深度图像的场景范围一致，且所述第二深度图像中的各个像素均能在所述第一深度图像中找到对应像素的深度信息；

处理器，所述处理器用于：

获取当前用户的第一深度图像，并获取所述当前用户所在当前场景的第二深度图像；

根据所述第一深度图像和所述第二深度图像建立所述当前场景的三维模型，其中，所述当前场景的三维模型为所述当前场景的实际背景的三维模型，所述实际背景包括所述当前场景中被人物区域遮挡的背景部分和所述当前场景中除所述人物区域之外的其他背景区域；其中，所述被人物区域遮挡的背景部分是通过针对所述当前场景的多个叠加拍摄位置进行深度图像拍摄而获得的；

将所述当前场景的三维模型作为视频聊天背景显示在视频聊天画面；

其中，所述获取当前用户的第一深度图像，包括：

通过结构光投射器将散斑结构光投射到当前用户上，所述当前用户表面的高度差使得投射到所述当前用户上的散斑结构光的散斑图案发生变化，再利用结构光摄像头拍摄投射到所述当前用户上的散斑图案后，再利用散斑图案与预先标定所保存的多幅散斑图像逐一进行相关运算，以得到多幅相关度图像，空间中所述当前用户所在的位置在所述相关度图像上显示出峰值，将所述峰值进行叠加并经过插值运算后，以得到所述当前用户的深度图像。

8.如权利要求7所述的装置，其特征在于，所述深度图像采集组件包括结构光投射器和结构光摄像头，所述结构光投射器用于向所述当前用户投射结构光；

所述结构光摄像头用于：

拍摄经所述当前用户调制的结构光图像；

解调所述结构光图像的各个像素对应的相位信息以得到所述第一深度图像。

9.如权利要求8所述的装置，其特征在于，所述结构光摄像头具体用于：

解调所述结构光图像中的各个像素对应的相位信息；

将所述相位信息转化为深度信息；

根据所述深度信息生成所述第一深度图像。

10.如权利要求7所述的装置，其特征在于，所述处理器具体用于：

处理所述第一深度图像和所述第二深度图像以提取所述当前用户在所述第二深度图像中的人物区域而获得人物区域图像；

根据所述人物区域图像和所述第二深度图像，获得所述第二深度图像中除所述人物区域图像之外的其他背景区域图像；

获取针对所述当前场景的多个叠加拍摄位置，并获取在所述多个叠加拍摄位置上拍摄到的多张第三深度图像，所述多张第三深度图像包含所述当前场景中被所述人物区域遮挡的背景部分；

根据所述多张第三深度图像获取所述背景部分的深度信息；

将所述背景部分的深度信息合成至所述其他背景区域图像中，得到滤除所述人物区域后的背景深度图像；

根据所述背景深度图像建立所述当前场景的三维模型。

11.如权利要求10所述的装置，其特征在于，所述处理器具体用于：

对于所述多个叠加拍摄位置中的每个叠加拍摄位置，计算所述叠加拍摄位置与原始拍摄位置之间的拍照角度差；

根据所述拍照角度差，计算所述叠加拍摄位置对应的投影面；

将所述叠加拍摄位置对应的第三深度图像投影在所述叠加拍摄位置对应的投影面上，得到待叠加的第三深度图像；

将所述待叠加的第三深度图像进行叠加，并从叠加后的第三深度图像中获取所述背景部分的深度信息。

12.如权利要求7至11中任一项所述的装置，其特征在于，还包括：

存储器，用于将所述当前场景的三维模型进行存储，构建多样化的三维背景数据库。

13.一种电子装置，其特征在于，所述电子装置包括：

一个或多个处理器；

存储器；和

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行权利要求1至6中任一项所述的视频聊天的画面处理方法的指令。

14.一种计算机可读存储介质，其特征在于，包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至6中任一项所述的视频聊天的画面处理方法。

Images