CN101309389A - 一种合成可视图像的方法、装置和终端 - Google Patents

Abstract

本发明实施例公开了实现合成可视图像的方法、装置和终端，其中，所述方法为：从视频设备的视频图像中提取用户的特征图像；如果所述视频设备的视角发生变化，则根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；将所述第二背景图像与所述用户的特征图像合成可视图像。在本发明实施例中，用户可以选择动态的背景图像，并且当视频设备视角发生变化时，能够实现可视背景图像动态调整，从而使用户通话背景有真实感，增加了通话乐趣。

Description

一种合成可视图像的方法、装置和终端

技术领域

本发明涉及图像技术领域，尤其涉及一种合成可视图像的方法、装置和终端。

背景技术

当前，移动通信技术发展得十分迅速，可视电话将成为主流业务。用户在进行可视电话通信中，会显示出身后的背景。但是这种真正的背景，时间久了可能会使用户产生厌倦感，并且有时候用户并不希望暴露当时真正的背景。于是，本领域技术人员提出了一种可以改变可视背景的技术方案，主要是用户终端侧通过提取通话者的面部图像，与指定的静态背景图片合成，实现视频背景的改变。

现有技术实现的过程如下：

1)通过外貌识别算法从视频设备采集到的视频图像中取得用户外貌图像；

2)将得到的外貌图像和指定的背景图片进行合成，实现视频背景的改变。

发明人在实现本发明的过程中，发现现有技术至少存在如下问题：现有的将用户图像与指定背景图片合成的技术方案，虽然可以达到改变用户可视背景的目的，但是缺乏真实感，用户感受比较单调。

发明内容

本发明实施例提供一种合成可视图像的方法、装置和终端，可以使用户在使用视频设备进行通话过程中，更具真实感。

本发明实施例提供了一种合成可视图像的方法，包括：从视频设备的视频图像中提取用户的特征图像；如果所述视频设备的视角变化，则根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；将所述第二背景图像与所述用户的特征图像合成可视图像。

本发明实施例还提供了一种合成可视图像的装置，包括：提取单元，用于从视频设备的视频图像中提取用户的特征图像；调整单元，用于当视频设备的视角变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；合成单元，用于将所述第二背景图像与所述用户的特征图像合成可视图像。

本发明实施例还提供了一种合成可视图像的终端，该终端包括一种合成可视图像的装置，该装置包括：提取单元，用于从视频设备的视频图像中提取用户的特征图像；调整单元，用于当视频设备的视角变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；合成单元，用于将所述第二背景图像与所述用户的特征图像合成可视图像。

可见，在本发明实施例中，由于当视频设备的视角发生变化时，可以根据视角的变化调整选择的背景图像，因此可以使视频通话中的用户背景更真实，用户感受比较丰富。

附图说明

图1为本发明合成可视图像的方法实施例流程图；

图2为本发明合成可视图像的装置实施例结构图；

图3为本发明合成可视图像的终端实施例结构图；

图4为本发明合成可视图像的方法另一实施例流程图；

图5为本发明一种具体实施方式中视频设备移动的三维坐标示意图；

图6为本发明一种具体实施方式中视频设备移动前的第一背景图像示意图；

图7为本发明一种具体实施方式中视频设备移动后的第二背景图像示意图；

图8为本发明合成可视图像的装置另一实施例结构图；

图9为本发明合成可视图像的终端另一实施例结构图。

具体实施方式

下面结合附图对本发明实施例进行详细描述。

请参见图1，其为本发明合成可视图像的方法实施例。本发明实施例的过程包括以下步骤：

步骤101：从视频设备的视频图像中提取用户的特征图像。

视频设备的种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。

用户的特征图像包括用户的外貌或/和其他部分的特征图像，例如身体部分的特征图像。

提取用户的特征图像可以有多种实现方式，目前采用较多的算法是人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

步骤102：如果所述视频设备的视角变化，则根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像。

视频设备移动、旋转都会引起设备视角发生变化。一般说来，视角可以是指视频设备所能拍摄到的景物的多少。根据视角发生的变化对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

步骤103：将所述第二背景图像与所述用户的特征图像合成可视图像。

图像合成的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。第二背景图像与特征图像进行合成，即是将特征图像覆盖在第二背景图像前显示。

其中，根据实际需要，还可以在步骤101之前或者之后进一步包括步骤：选择第一背景图像。本发明对该步骤的位置顺序不作具体限定。

在本发明实施例中，由于当视频设备的视角发生变化时，可以根据视角的变化调整背景图像，因此可以使视频通话中的用户背景更真实。

与上述实施例所提供的方法相对应，参见图2，本发明实施例还提供了一种合成可视图像的装置，该装置包括提取单元201，调整单元202，合成单元203。下面结合本发明实施例的工作原理对其内部结构以及连接关系做进一步叙述。

提取单元201用于从视频设备的视频图像中提取用户的特征图像，提取模块所采用的视频设备种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。用户的特征图像包括用户的外貌或/和其他特征图像，例如身体部分的特征图像。提取单元201采用的提取算法目前多为人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

调整单元202用于当视频设备的视角发生变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像。视频设备移动、旋转都会引起设备视角发生变化。根据视角发生的变化，调整单元202对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

合成单元203用于对第二背景图像与用户的特征图像进行图像合成。合成单元203工作的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。合成单元203完成第二背景图像与特征图像的合成，即是将特征图像覆盖在第二背景图像前显示。

在本发明实施例中，该装置可以实现当视频设备的视角发生变化时，根据视角的变化调整背景图像，因此可以使视频通话中的用户背景更真实。

与上述实施例所提供的方法和装置相对应，参见图3，本发明实施例还提供了一种合成可视图像的终端30，该终端包括一种合成可视图像的装置，该装置包括提取单元301，调整单元302，合成单元303。下面结合本发明实施例的工作原理对其内部结构以及连接关系做进一步叙述。

提取单元301用于从视频设备的视频图像中提取用户的特征图像，提取模块所采用的视频设备种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。用户的特征图像包括用户的外貌或/和其他特征图像，例如身体部分的特征图像。提取单元301采用的提取算法目前多为人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

调整单元302用于当视频设备的视角发生变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像。视频设备移动、旋转都会引起设备视角发生变化。根据视角发生的变化，调整单元302对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

合成单元303用于对第二背景图像与用户的特征图像进行图像合成。合成单元303工作的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。合成单元303完成第二背景图像与特征图像的合成，即是将特征图像覆盖在第二背景图像前显示。

在本发明实施例中，该终端可以实现当视频设备的视角发生变化时，根据视角的变化调整背景图像，因此可以使视频通话中的用户背景更真实。

在本发明另一实施例中，参见图4，实现本发明实施例所提供的方法包括以下步骤：

步骤401：选择第一背景图像。

用户可以从背景数据库中任意选择一种背景图像，用于在进行视频通信(如用户拨打可视电话)过程中使用，一方面可以避免暴露自己真实的背景，另一方面使用用户自己喜欢的背景图像可以提高用户的感受度。

用户选择的背景图像可以有多种形式，例如，背景图像可以是静态图像，也可以是动态图像。由于动态图像是画面可以变化的图像，因此显得较为真实、生动，让观看者觉得更为有趣。又例如，背景图像可以是二维图像，也可以是三维图像。由于三维图像显得比较立体，真实感强烈，因此可以让人感觉在一个真实的场景中。

背景数据库存放的位置可以有多种实现方式，例如，用户可以从用户侧的服务器数据库选择第一背景图像，用户侧的服务器通常位于用户端。又例如，用户也可以从网络侧的服务器数据库中选择第一背景图像，网络侧的服务器通常位于通信网络的服务器端。

步骤402：从视频设备的视频图像中提取用户的特征图像。

视频设备的种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。

用户的特征图像包括用户的外貌或/和其他部分的特征图像，例如身体部分的特征图像。

提取用户的特征图像可以有多种实现方式，目前采用较多的算法是人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

步骤403：如果所述视频设备的视角发生变化，则根据视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；

视频设备移动、旋转都会引起设备视角发生变化。根据视角发生的变化对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

视频设备移动的方式有多种，包括但不限于上下左右移动。例如，视频设备向上移动时，进而视角发生相应变化，于是整个背景图像需要按照一定的比例向上移动；如果视频设备向左移动，则整个背景图象需要按照一定的比例向左移动。视频设备旋转的方式也有多种，例如，视频设备在水平方向上顺时针旋转一定角度，进而视角发生变化，于是整个背景图像也需要按照一定的比例顺时针旋转一定角度。

举个具体的例子来详细说明。如图5所示，图中坐标系为三维坐标系，其中x轴表示水平方向，y轴表示竖直方向，z轴表示分别与x轴、y轴垂直的方向，α表示30度。视频设备以y轴为轴线顺时针旋转30度，进而视角发生变化，于是整个背景图像也需要以y轴为轴线顺时针旋转30度。

从逻辑上讲，如果所述视频设备的视角发生变化，则根据视频设备视角的变化对第一背景图像进行调整，得到第二背景图像的过程具体包括：

步骤4031：感应视频设备的视角变化；

步骤4032：如果所述视频设备的视角变化，则生成视角变化的参数信息；

步骤4033：根据所述视角变化的参数信息对第一背景图像进行调整，得到第二背景图像。

步骤404：将第二背景图像与所述用户的特征图像合成可视图像。

图像合成的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。第二背景图像与特征图像进行合成，即是将特征图像覆盖在第二背景图像前显示。

为了更好理解上述实施例，下面以一个具体实施方式来具体说明：

整个背景图像称为逻辑视图，而在屏幕上显示出来的那一部分称为物理视图，逻辑视图一般都比物理视图大很多。可以这样理解逻辑视图和物理视图这两个概念，以电脑显示器为例，我们在看一个文档时，可能一个时间只看见一页文档，即物理视图只显示一页，而实际上文档有很多页，都在逻辑视图里，当向上滚动一页文档时，显示器就会显示上一页文档，即物理视图显示了逻辑视图中的另一部分。

当视频设备没有移动时，视角不发生变化，就可以简单的从背景图像数据库中取出图像，并截取要显示的部分，默认情况是截取正中间的那部分图像。

如果视频设备发生移动，以向上移动为例，移动距离提供移动变化参数，根据向上移动的距离比例参数，计算出背景图像需要移动的距离。一个简单的计算方法原理为：视频设备向上移动相当于人的面部向下移动，通过计算面部在屏幕上向下移动的距离，来得出背景图像需要移动的距离。然后根据计算得到的背景图像需要移动的距离对第一背景图像进行调整，得到与视频设备视角变化对应的第二背景图像。

例如，假设在视频设备移动前，需要显示的第一背景图像如图6中的阴影部分所示。如果在视频通信过程中，视频设备向上移动了10cm，而背景图像与实际图像的大小比例是1∶10，那么简单的计算出来，背景图象需要相应的向上移动1cm。视频设备移动后需要显示的第二背景图像如图7中的阴影部分所示，对比图7和图6可知，视频设备向上移动后，即视角发生了变化后，显示的阴影区域向上移动了1cm。

与上述实施例所提供的方法相对应，参见图8，本发明实施例还提供了一种合成可视图像的装置，该装置包括选择单元801，提取单元802，调整单元803，合成单元804。下面结合本发明实施例的工作原理对其内部结构以及连接关系做进一步叙述。

选择单元801用于选择第一背景图像。选择单元801的具体实现方式有多种，例如，选择单元801可以是第一选择单元，用于选择第一动态背景图像。用户可以从背景数据库中任意选择一个背景图像。选择单元801选择的背景图像可以有多种形式，例如，选择单元801可以选择静态图像作为背景图像，也可以选择动态图像作为背景图像。由于动态图像是画面可以变化的图像，因此显得较为真实、生动，让观看者觉得更为有趣。又例如，背景图像可以是二维图像，也可以是三维图像。由于三维图像显得比较立体，真实感强烈，因此可以让人感觉在一个真实的场景中。

选择单元801的具体实现有多种方式，例如可以从用户侧的服务器数据库选择第一背景图像，用户侧的服务器通常位于用户端。又例如，可以从网络侧的服务器数据库中选择第一背景图像，网络侧的服务器通常位于通信网络的服务器端。例如，用户通过移动网络下载图像作为背景图像。

提取单元802用于从视频设备的视频图像中提取用户的特征图像，提取单元802所采用的视频设备种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。用户的特征图像包括用户的外貌或/和其他特征图像，例如身体部分的特征图像。提取单元802采用的提取算法目前多为人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

调整单元803用于当视频设备的视角发生变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到与所述视频设备视角变化对应的第二背景图像。视频设备移动、旋转都会引起设备视角发生变化。根据视角发生的变化，调整单元803对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

视频设备移动包括但不限于上下左右移动。例如，视频设备向上移动时，视角发生相应变化，则整个背景图像需要向上移动。视频设备旋转包括但不限于旋转。例如，视频设备顺时针旋转时，视角发生相应变化，则整个背景图像根据旋转的角度进行调整。

从逻辑上讲，调整单元803具体包括感应单元8031、计算单元8032和第一调整单元8033。感应单元8031用于感应视频设备的视角变化。例如，视频设备向上移动，感应单元8031感应到视频设备的视角变化。计算单元8032根据感应单元提供的视角变化，生成视角变化的参数信息。第一调整单元8033用于根据计算单元计算出的参数信息，对第一背景图像进行调整，得到第二背景图像。

为了更好地理解上述实施例中调整单元803的作用，下面以一个具体实施方式来具体说明：

当视频设备向上移动时，移动距离提供移动变化参数，调整单元803根据向上移动的距离比例的参数，计算出背景图像需要移动的距离，一个简单的计算方法原理为：视频设备向上移动相当于人的面部向下移动，通过计算面部在屏幕上向下移动的距离，来得出背景图像需要移动的距离。然后选取第一背景图像，也就是逻辑视图中应该显示的部分图像，得到与视频设备视角变化对应的第二背景图像。

合成单元804用于对第二背景图像与用户的特征图像进行图像合成。合成单元804工作的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。合成单元804完成第二背景图像与特征图像的合成，即是将特征图像覆盖在第二背景图像前显示。

在本发明实施例中，该装置可以选择自己喜欢的通话背景，而且当视频设备视角变化时，可以进行调整，从而可以使视频通话中的用户背景更真实，有更好的用户感受度。

与上述实施例所提供的方法和装置相对应，参见图9，本发明实施例还提供了一种合成可视图像的终端90，该终端包括一种合成可视图像的装置，该装置包括选择单元901，提取单元902，调整单元903，合成单元904。下面结合本发明实施例的工作原理对其内部结构以及连接关系做进一步叙述。

选择单元901用于选择第一背景图像。选择单元901的具体实现方式有多种，例如，选择单元901可以是第一选择单元，用于选择第一动态背景图像。用户可以从背景数据库中任意选择一个背景图像。选择单元901选择的背景图像可以有多种形式，例如，选择单元901可以选择静态图像作为背景图像，也可以选择动态图像作为背景图像。由于动态图像是画面可以变化的图像，因此显得较为真实、生动，让观看者觉得更为有趣。又例如，背景图像可以是二维图像，也可以是三维图像。由于三维图像显得比较立体，真实感强烈，因此可以让人感觉在一个真实的场景中。

选择单元901的具体实现有多种方式，例如可以从用户侧的服务器数据库选择第一背景图像，用户侧的服务器通常位于用户端。又例如，可以从网络侧的服务器数据库中选择第一背景图像，网络侧的服务器通常位于通信网络的服务器端。例如，用户通过移动网络下载图像作为背景图像。

提取单元902用于从视频设备的视频图像中提取用户的特征图像，提取单元902所采用的视频设备种类很多，例如摄像头，摄像头可以是独立的，也可以是安装在手机或者其他具有视频功能的设备里面。用户的特征图像包括用户的外貌或/和其他特征图像，例如身体部分的特征图像。提取单元902采用的提取算法目前多为人脸识别算法，可以从视频图像数据中提取出外貌信息或/和其他信息。

调整单元903用于当视频设备的视角发生变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像。视频设备移动、旋转都会引起设备视角发生变化。根据视角发生的变化，调整单元903对第一背景图像进行调整，得到与视角变化对应的第二背景图像。例如，可以得到逼真的三维动画的效果。

视频设备移动包括但不限于上下左右移动。例如，视频设备向上移动时，视角发生相应变化，则整个背景图像需要向上移动。视频设备旋转包括但不限于旋转。例如，视频设备顺时针旋转时，视角发生相应变化，则整个背景图像根据旋转的角度进行调整。

从逻辑上讲，调整单元903具体包括感应单元9031、计算单元9032和第一调整单元9033。感应单元9031用于感应视频设备的视角变化。例如，视频设备向上移动，感应单元9031感应到视频设备的视角变化。计算单元9032根据感应单元提供的视角变化，生成视角变化的参数信息。第一调整单元9033用于根据计算单元计算出的参数信息，对第一背景图像进行调整，得到第二背景图像。

为了更好地理解上述实施例中调整单元903的作用，下面以一个具体实施方式来具体说明：

当视频设备向上移动时，移动距离提供移动变化参数，调整单元903根据向上移动的距离比例的参数，计算出背景图像需要移动的距离，一个简单的计算方法原理为：视频设备向上移动相当于人的面部向下移动，通过计算面部在屏幕上向下移动的距离，来得出背景图像需要移动的距离。然后选取第一背景图像，也就是逻辑视图中应该显示的部分图像，得到与视频设备视角变化对应的第二背景图像。

合成单元904用于对第二背景图像与用户的特征图像进行图像合成。合成单元904工作的过程类似于图层的合并，将图层叠加到一起，形成目标图层覆盖到原始图层的效果。合成单元804完成第二背景图像与特征图像的合成，即是将特征图像覆盖在第二背景图像前显示。

在本发明实施例中，该终端可以选择自己喜欢的通话背景，而且当视频设备视角变化时，可以进行调整，从而可以使视频通话中的用户背景更真实，有更好的用户感受度。

以上所述仅是本发明的实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (12)

1.一种合成可视图像的方法，其特征在于，包括：

从视频设备的视频图像中提取用户的特征图像；

如果所述视频设备的视角变化，则根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；

将所述第二背景图像与所述用户的特征图像合成可视图像。

2.根据权利要求1所述的方法，其特征在于，还包括：

选择第一背景图像。

3.根据权利要求1所述的方法，其特征在于，视频设备的视角变化包括：

视频设备移动或/和旋转产生的视角变化。

4.根据权利要求1所述的方法，其特征在于，所述如果视频设备的视角变化，则根据所述视频设备视角的变化对所述第一背景图像进行调整，得到与所述视频设备视角变化对应的第二背景图像包括：

感应视频设备的视角变化；

如果所述视频设备的视角变化，则生成视角变化的参数信息；

根据所述视角变化的参数信息对所述第一背景图像进行调整，得到与所述视频设备视角变化对应的第二背景图像。

5.根据权利要求2所述的方法，其特征在于，所述选择第一背景图像包括：从所述用户侧的服务器数据库或者从网络侧的服务器数据库中选择第一背景图像。

6.根据权利要求5中任一项所述的方法，其特征在于，所述选择第一背景图像包括：选择第一动态背景图像。

7.一种合成可视图像的装置，其特征在于，包括：

提取单元，用于从视频设备的视频图像中提取用户的特征图像；

调整单元，用于当所述视频设备的视角变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；

合成单元，用于将所述第二背景图像与所述用户的特征图像合成可视图像。

8.根据权利要求7所述的装置，其特征在于，还包括：

选择单元，用于选择第一背景图像。

9.根据权利要求7所述的装置，其特征在于，所述调整单元包括：

感应单元，用于感应视频设备的视角变化；

计算单元，用于根据所述感应单元提供的视角变化，生成视角变化的参数信息；

第一调整单元，用于根据计算单元计算出的参数信息，对第一背景图像进行调整，得到第二背景图像。

10.一种合成可视图像的终端，其特征在于，包括一种合成可视图像的装置，该装置包括：

提取单元，用于从视频设备的视频图像中提取用户的特征图像；

调整单元，用于当所述视频设备的视角变化时，根据所述视频设备视角的变化对第一背景图像进行调整，得到第二背景图像；

合成单元，用于将所述第二背景图像与所述用户的特征图像合成可视图像。

11.根据权利要求10所述的终端，其特征在于，所述装置还包括：

选择单元，用于选择第一背景图像。

12.根据权利要求10所述的终端，其特征在于，所述调整单元包括：

感应单元，用于感应视频设备的视角变化；

计算单元，用于根据所述感应单元提供的视角变化，生成视角变化的参数信息；

第一调整单元，用于根据计算单元计算出的参数信息，对第一背景图像进行调整，得到第二背景图像。

Images