CN104424624B - 一种图像合成的优化方法及装置 - Google Patents

Abstract

本发明公开了一种图像合成的优化方法及装置，通过确定源图像中的待合成图像以及待合成图像在源图像中的位置信息；然后确定目标图像与源图像的尺寸比值；进而根据所述位置信息和所述尺寸比值将所述待合成图像合成到所述目标图像中。本发明提供的优化方法依据目标图像与源图像的尺寸比值对待合成图像的大小进行调整，从而使合成图像中的待合成图像的大小与目标图像比例相协调，使合成图像更加的真实。

Description

一种图像合成的优化方法及装置

技术领域

本发明涉及一种图像处理领域，尤其涉及一种对图像合成进行优化的方法和装置。

背景技术

现有的图像合成技术是将源图像中的某些图像(这里以人物图像为例)提取出来，不对其进行任何处理，然后将提取出来的人物直接按照原比例大小合成到设定好的背景图像中。具体如图1所示，图1中的图像1为源图像，源图像的尺寸为：长为15cm，宽为15cm。人物图像11的头顶A处在源图像中的位置可用一个坐标来表示，A点的坐标为(7,9)(坐标原点是源图像的左下角)。将人物图像11从源图像中提取出来，得到提取的人物图像12，将提取的人物图像12与目标图像22进行合成，得到合成图像2，目标图像22的尺寸为：长为10cm，宽为10cm。因没有对提取的人物图像12进行处理，且目标图像22与源图像1的尺寸又不一致，因此，合成后的图像2中人物图像的比例与背景图像的比例就会很不协调。

发明内容

本发明要解决的主要技术问题是，提供一种图像合成算法，解决现有图像合成时，因源图像尺寸与目标图像尺寸不一致而导致的合成图像中的待合成图像与目标图像比例不协调的问题。

为了解决上述技术问题，本发明提供了一种图像合成的优化方法，该方法的步骤包括：

确定源图像中的待合成图像以及待合成图像在源图像中的位置信息；

确定目标图像与源图像的尺寸比值；

根据所述位置信息和所述尺寸比值将所述待合成图像合成到所述目标图像中。

在本发明的一种实施例中，所述目标图像与所述源图像的长度比值和宽度比值。

在本发明的一种实施例中，所述位置信息为所述待合成图像的至少一个像素点的坐标信息。

在本发明的一种实施例中，将所述待合成图像合成到所述目标图像中之前，还包括获取所述待合成图像的在所述目标图像中显示的色彩值；

当所述位置信息为所述待合成图像的各像素点的坐标信息时，所述根据所述位置信息和所述尺寸比值将所述待合成图像合成到所述目标图像中包括：将所述各像素点长度方向和宽度方向的坐标值分别与所述长度比值和所述宽度比值相乘，得到在所述目标图像中对应像素点的坐标值；根据所述色彩值设定所述目标图像中对应像素点的色彩参数；

当所述位置信息为所述待合成图像边界上的各像素点的坐标信息时，所述根据所述位置信息和所述尺寸比值将所述待合成图像合成到所述目标图像中包括：将所述边界上的各像素点的坐标分别与所述长度比值和所述宽带比值相乘，得到边界上的各像素点在所述目标图像中对应的边界像素点的坐标值；所述目标图像中的边界像素点围合的区域为待合成区域；根据所述色彩值设定所述待合成区域内的各像素点的色彩参数。

在本发明的一种实施例中，所述目标图像和源图像是图片或者视频。

在本发明的一种实施例中，所述目标图像为预先设置的背景图像。

在本发明的一种实施例中，所述待合成图像为人物图像。

本发明还提供了一种图像合成优化的装置，该装置包括：

数据获取模块，用于确定源图像中的待合成图像以及待合成图像在源图像中的位置信息；

计算模块，用于确定所述源图像与所述目标图像的尺寸比值；

图像合成模块，用于根据所述位置信息和所述尺寸比值将所述待合成图像合成到所述目标图像中。

在本发明的一种实施例中，所述尺寸比值包括：所述目标图像与所述源图像的长度比值和宽度比值。

在本发明的一种实施例中，所述位置信息为所述待合成图像的至少一个像素点的坐标信息。

在本发明的一种实施例中，所述装置还包括色彩获取模块，其用于在所述图像合成模块将待合成图像合成到所述目标图像中之前，获取所述待合成图像的在所述目标图像中显示的色彩值；

所述图像合成模块包括换算子模块和色彩设定子模块；

所述换算子模块用于当所述位置信息为所述待合成图像的各像素点的坐标信息时，将所述各像素点长度方向和宽度方向的坐标值分别与所述长度比值和所述宽度比值相乘，得到在所述目标图像中对应像素点的坐标值；所述色彩设定子模块根据所述色彩值设定所述目标图像中对应像素点的色彩参数；

所述换算子模块用于当所述位置信息为所述待合成图像边界上的各像素点的坐标信息时，将所述边界上的各像素点的坐标分别与所述长度比值和所述宽带比值相乘，得到边界上的各像素点在所述目标图像中对应的边界像素点的坐标值；所述目标图像中的边界像素点围合的区域为待合成区域；所述色彩设定子模块根据所述色彩值设定所述待合成区域内的各像素点的色彩参数。

本发明的有益效果是：

本发明提供的对图像合成进行优化的方法和装置，通过确定源图像中的待合成图像、待合成图像在源图像中的位置信息，依据目标图像与源图像的尺寸比值，将述待合成图像合成到所述目标图像中，而不是将待合成的图像直接按照原比例大小合成到设定好的目标图像中，从而使合成图像中的待合成图像与目标图像比例相协调。

附图说明

图1为一种图像合成图；

图2为本发明实施例一提供的对待合成图像进行优化的方法的流程图；

图3为本发明实施例二提供的对待合成图像进行优化的装置的结构图；

图4为本发明实施例二提供的另一种对待合成图像进行优化的装置的结构图；

图5为本发明实施例三提供的对待合成图像进行优化的方法的示意图；

图6为本发明实施例三提供的对待合成图像进行优化的方法的流程图；

图7为本发明实施例三提供的另一种对待合成图像进行优化的方法的示意图；

图8为本发明实施例四提供的将该优化方法应用于视频通话中切换背景的流程图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。

实施例一：

图2为本实施例提供的对待合成图像进行优化的方法的流程图,该优化方法包括以下步骤：

步骤201：在源图像中确定待合成图像、以及待合成图像的位置信息；

这里所说的源图像可以是图片或者视频，待合成图像是从源图像中提取的、需要对其进行合成处理的图像。待合成图像可以是源图像中的任意图像，例如人物图像、动物图像等，我们以人物图像为例。通常，可以通过人脸识别算法确定源图像中的人物图像，也可以通过其他计算机软件(如Photoshop、美图秀秀)提取人物图像，对于其他的待合成图像的提取也可以通过计算机软件实现。待合成图像的位置信息即待合成图像在源图像中所处的位置，可以通过确定待合成图像相对于源图像各边的距离来确定待合成图像的位置，也可以通过标定待合成图像中几个特定的点在源图像中的坐标(通常以源图像左下角作为源图像的坐标原点)来确定，因每个图像信息都有像素点，因此我们可以用待合成图像的至少一个像素点的坐标来表征位置信息。较优的，可以通过确定待合成图像各像素点的坐标来确定。

步骤202：计算源图像尺寸与目标图像尺寸比值；

对于二维图像，其尺寸可用长*宽来表征的，因此其尺寸比值就可为长度比值和宽度比值。对于三维图像，其尺寸除了长和宽以外，还有个深度值，因此其尺寸比值就是长度比值、宽度比值和深度比值。同样的，对于多维图像，其比值还包括其他的尺寸参数的比值。

步骤203：根据得到的位置信息和尺寸比值将待合成图像合成到目标图像中；

目标图像可以是任何图片或者视频，并且也可以是预先设置的背景。待合成图像的位置信息一般为表征待合成图像与源图像相对关系的数据，因此可以依据得到的尺寸比值对位置信息做处理，使新得到的位置信息与目标图像与源图像的比例相适应，在对待合成图像的位置进行处理的同时，也依据比例对待合成图像的大小进行处理，从而使待合成图像的大小与目标图像相适应。

在上述步骤203之前，还包括获取色彩值的步骤，包括至少两种方式：

方式一：获取在源图像中的色彩值作为在目标图像中显示的色彩值；源图像中的色彩值为待合成图像在源图像中的各像素点的色彩值(色彩值是指能表征该像素点所包含的色彩信息的值，例如RGB值、亮度值、灰度值等)。

方式二：直接预先设定在目标图像中显示的色彩值。预定的色彩值可以通过设定目标图像中的像素点的RGB值、亮度值、灰度值等来实现。预定的色彩值可以与待合成图像在源图像中的各像素点的色彩值有关(例如是对原色彩值的变换)，也可以是与待合成图像在源图像中的各像素点的色彩值无关，完全重新设定。

在步骤201中，当待合成图像在源图像中的位置信息为所述待合成图像的各像素点的坐标信息时，相应地，在步骤203中待合成图像的位置也应该用根据尺寸比值做了调整的各像素点的坐标来确定。本实施例将各像素点的坐标分别与长度比值和宽度比值相乘，得到在目标图像中对应像素点的坐标值。根据获取的待合成图像在目标图像中显示的色彩值设定待合成图像在目标图像中对应像素点的色彩参数，从而实现了待合成图像的色彩值从源图像到目标图像的搬移。对待合成图像的每个像素点都进行上述的处理之后，就完成了待合成图像与目标图像的合成。

在步骤201中，当待合成图像在源图像中的位置信息为待合成图像边界上的各像素点的坐标信息时，相应地，在步骤203中待合成图像的位置也应该用根据尺寸比值做了调整的边界上的像素点的坐标来确定。本实施例将待合成图像边界上的各像素点的坐标分别与长度比值和宽度比值相乘，得到在目标图像中对应像素点的坐标值。在目标图像中，新确定的坐标值确定了一个由边界像素点围合的区域，该区域就是待合成区域。根据获取的待合成图像在目标图像中显示的色彩值设定待合成区域的色彩参数(本发明所指的色彩参数指颜色的量化值、比特值等能表征色彩的参数)，从而实现了待合成图像与目标图像的合成。

在合成的过程中，当源图像中的尺寸比较大，而替换背景的尺寸比较小时，会出现待合成图像在源图像中的像素点比在目标图像中的像素点多的情况，这时候就要对有的像素点做丢弃，或者是对有的像素点做合并；当源图像的尺寸比较小，而目标图像的尺寸比较大时，会出现待合成图像在源图像中的像素点比在目标图像中的像素点少的情况，这时候就要对像素点进行补充。

当源图像和替换目标为视频时，对待合成图像信息的获取是按照一定频率进行的，目标图像与待合成图像的处理也是按照相同的频率进行的。目标图像与待合成图像的合成会依据获取到的待合成图像的信息和位置信息的变化而相应的发生变化。

实施例二：

图3为本实施例提供的对待合成图像进行优化的装置的结构图，该装置包括数据获取模块、计算模块和图像合成模块。

其中数据获取模块主要用于确定源图像中的待合成图像、待合成图像在源图像中的位置信息，并将获取的信息存储起来。这里所说的源图像可以是图片或者视频，待合成图像是从源图像中提取的。待合成图像可以是源图像中的任意图像，例如人物图像、动物图像等，我们以人物图像为例。通常，可以通过人脸识别算法确定源图像中的人物图像，也可以通过计算机软件(如Photoshop、美图秀秀)提取人物图像，对于其他的待合成图像的提取也可以通过计算机软件实现。待合成图像的位置信息即待合成图像在源图像中所处的位置，可以通过确定待合成图像相对于源图像各边的距离来确定待合成图像的位置，也可以通过标定待合成图像中几个特定的点在源图像中的坐标(通常以源图像左下角作为源图像的坐标原点)来确定，因每个图像信息都有像素点，因此我们可以用待合成图像的像素点的坐标来表征位置信息。较优的，可以通过确定待合成图像各像素点的坐标来确定。

计算模块主要用于确定目标图像与源图像的尺寸比值，并保存该尺寸比值。对于二维图像，尺寸是用长*宽来表征的，因此其尺寸比值就是长度比值和宽度比值。对于三维图像，其尺寸除了长和宽以外，还有个深度值，因此其尺寸比值就是长度比值、宽度比值和深度比值。同样的，对于多维图像，其比值还包括其他的尺寸参数的比值。

图像合成模块用于根据位置信息和尺寸比值将所述待合成图像合成到所述目标图像中。目标图像可以是任何图片或者视频，并且也可以是预先设置的背景。待合成图像的位置信息一般为表征待合成图像与源图像相对关系的数据，因此可以依据得到的尺寸比值对位置信息做处理，使新得到的位置信息与目标图像与源图像的比例相适应，在对待合成图像的位置进行处理的同时，也依据比例对待合成图像的大小进行处理，从而使待合成图像的大小与目标图像相适应。

该装置还包括色彩获取模块，见图4，色彩模块主要用于在图像合成模块将待合成图像合成到目标图像中之前，获取待合成图像的在目标图像中显示的色彩值。图像合成模块还包括换算子模块和色彩设定子模块。换算子模块用于当位置信息为待合成图像的各像素点的坐标信息时，将各像素点长度方向和宽度方向的坐标值分别与长度比值和宽度比值相乘，得到在目标图像中对应像素点的坐标值；色彩设定子模块根据色彩值设定目标图像中对应像素点的色彩参数；

换算子模块还用于当位置信息为所合成图像边界上的各像素点的坐标信息时，将边界上的各像素点的坐标分别与长度比值和宽带比值相乘，得到边界上的各像素点在目标图像中对应的边界像素点的坐标值；在目标图像中，新确定的坐标值确定了一个由边界像素点围合的区域，该区域就是待合成区域；色彩设定子模块根据获取的待合成图像在目标图像中显示的色彩值设定待合成区域内的各像素点的色彩参数，从而实现了待合成图像与目标图像的合成。

实施例三：

图6为本实施例提供的对待合成图像进行优化的方法的流程图；该方法的步骤为：

步骤401：确定人物图像的各像素点在源图像中的位置，用坐标表示；

步骤402：计算目标图像与源图像的长度比值和宽度比值；

步骤403：将各像素点长度方向和宽度方向的坐标值分别与长度比值和宽度比值相乘，得到在目标图像中对应像素点的坐标值；；

步骤404：根据获取的待合成图像在源图像中的各像素点的色彩值设定目标图像中对应的各像素点的色彩参数。

为了更好的理解本发明，现在以图5所示的应用场景为例进行进一步的说明：

步骤301：在源图像1中确定人物图像中的每个像素点的坐标，这里只标出了三个点A、B、C，其他像素点的坐标这里没有标记出来。其中A点坐标为(8,9)，B点为(11,5)，C点为(8,4)；人物图像12为从源图像1中提取出来的人物图像。

步骤302：计算目标图像与源图像的尺寸比值，将目标图像22的长度尺寸与源图像1的长度尺寸做除，得到长度比值为M＝10/16＝5/8，将目标图像22的宽度尺寸与源图像的宽度尺寸做除，得到宽度比值为N＝10/15＝2/3。

步骤303：计算坐标值。将A、B、C三点的横坐标与M相乘，纵坐标与N相乘，得到新的坐标，即A’、B’、C’，A’点坐标值为(5,6)、B’点坐标值为(7,3)、C’点坐标值为(5,1)。

步骤304：依据得到的新坐标，将人物图像12与目标图像22进行合成。具体为：将目标图像中处于A’处的像素点的色彩参数设置为源图像中处于A点的像素点的色彩值，将目标图像中处于B’处的像素点的色彩参数设置为源图像中处于B点的像素点的色彩值，对人物图像的各像素点都进行这样的处理。经过处理之后的人物图像12就与目标图像完成了合成，得到合成图像。合成图像中的人物图像用人物图像13表示。

进一步地，当源图像的尺寸比目标图像的尺寸大时，会出现人物图像11的像素点比人物图像13的像素点多的情况，这时候就要做丢弃或者合并处理；当源图像的尺寸比目标图像的尺寸小时，会出现人物图像11的像素点比人物图像13的像素点少的情况，这时候就要做补充处理。

进一步地，对于上述实施例中的目标图像和源图像也可以是多维的，这里以三维为例进行说明。当目标图像和源图像为三维时，在计算尺寸比值时，就要计算目标图像和源图像的深度比值。当需要对每个像素点进行处理的，因其像素点的坐标有三个参数，例如(x,y,z)，因此不仅要对x、y进行处理，而且还要将表示深度的z与深度比值相乘，得到新的z’，从而确定新的坐标。

图7是对图像合成进行优化的另一种方法，该方法与上述方法的区别在于:在确定待合成图像在源图像中的位置时，只在源图像1中确定人物图像的边界上的像素点的坐标，这里只标出了三个点D、E、F，其他像素点的坐标这里没有标记出来。其中D点坐标为(8,9)，E点为(11,5)，F点为(8,4)。通过与上述方法相同的方式得到边界上的各像素点在目标图像中对应的边界像素点的坐标值，即D’、E’、F’，D’点坐标值为(5,6)、E’点坐标值为(7,3)、F’点坐标值为(5,1)。根据得到的新的坐标值，在目标图像中确定了一个待合成区域，即图中人物图像14虚线所限定的区域，根据获取的色彩值或者预设的色彩值设定待合成区域内的各像素点的色彩参数，从而实现图像的合成，得到合成图像4。

上面的实施例是对图像合成算法的一个优化，下面的实施例是将该优化方法应用于实际生活中。

实施例四：

图8为本实施例提供的将该优化方法应用于视频通话中切换背景的流程图。该实施例是将优化后的图像合成算法运用于移动通信的视频通话中，具体步骤如下：

步骤701：在移动通信终端中预置多种静态纯色背景，比如白色、红色、蓝色等，用户可选择预置的纯色背景，也可以自定义其他静态或动态背景图片，这里预置的纯色背景、静态背景、动态背景就是待选择的目标图像；

步骤702：利用移动通信终端拍摄一段背景环境视频，该背景环境视频就是替换背景的一种，将该段背景环境视频预置于移动通信终端中；并且该段环境视频也可以是其他的视频，这里选用移动通信终端拍摄的视频是为了使视频合成效果更好，这里的视频也是待选择的目标图像；

步骤703：在开始视频通话前或者来电未接听状态或者视频通话中，设置是否启动背景过滤功能。开始视频通话前和视频通话中可在通话设置下进行设置；来电未接听状态下，来电界面提供背景过滤功能的快捷开关；

步骤704：在背景过滤功能开启的前提下，开始视频通话前和视频通话中，可在通话设置菜单选择纯色背景或者自定义背景视频为视频背景；来电未接听状态下，从来电界面开启背景过滤功能后弹出背景选择框供用户选择；

步骤705：背景过滤功能开启且背景设置完成后开始视频通话；

步骤706：视频通话建立连接后，摄像头开始实时采集本端视频数据，本地视频数据流中的图像就是上述实施例中的源图像；

步骤707：根据摄像头采集的本端视频数据，经过人像识别模块，采用人像识别算法将人物图像提取出来，实际背景环境过滤掉。

步骤708：将提取出来的人物图像与步骤704中预设的背景合成起来，在合成的过程中运用本申请提出的优化方法，对合成图像进行优化；

步骤709：将合成好的影像信息通过无线网络传递给对端；

若背景过滤功能开启，预置的背景为视频，当视频通话时长大于预设的背景视频时，背景视频循环使用，直至通话结束。

步骤710：若不开启背景过滤功能，则按普通视频通话流程发起视频通话，或接听视频电话；

步骤711：未开启背景过滤功能，在视频通话过程中，本端将实际背景环境传递给对端。

由上述实施例可以看出，该优化方法通过确定源图像中的待合成图像、待合成图像在源图像中的位置信息，依据目标图像与源图像的尺寸比值，将述待合成图像合成到所述目标图像中，从而使合成图像中的待合成图像与目标图像比例相协调。将该方法应用于视频通话中切换背景还能使切换背景后的视频更加真实，并实现了对合成视频实时的调整。

以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种图像合成的优化方法，其特征在于，该方法的步骤包括：

确定源图像中的待合成图像以及待合成图像在源图像中的位置信息，所述位置信息为所述待合成图像的像素点的坐标信息；

确定目标图像与源图像的尺寸比值，所述尺寸比值包括：所述目标图像与所述源图像的长度比值和宽度比值；

获取所述待合成图像的在所述目标图像中显示的色彩值；

当所述位置信息为所述待合成图像的各像素点的坐标信息时，将所述各像素点长度方向和宽度方向的坐标值分别与所述长度比值和所述宽度比值相乘，得到在所述目标图像中对应像素点的坐标值；根据所述色彩值设定所述目标图像中对应像素点的色彩参数，实现将所述待合成图像合成到所述目标图像中；

当所述位置信息为所述待合成图像边界上的各像素点的坐标信息时，将所述边界上的各像素点的坐标分别与所述长度比值和所述宽度比值相乘，得到边界上的各像素点在所述目标图像中对应的边界像素点的坐标值；所述目标图像中的边界像素点围合的区域为待合成区域；根据所述色彩值设定所述待合成区域内的各像素点的色彩参数，实现将所述待合成图像合成到所述目标图像中。

2.如权利要求1所述的图像合成的优化方法，其特征在于，所述源图像和目标图像是图片或者视频。

3.如权利要求1所述的图像合成的优化方法，其特征在于，所述目标图像为预先设置的背景图像。

4.如权利要求1所述的图像合成的优化方法，其特征在于，所述待合成图像为人物图像。

5.一种图像合成优化的装置，其特征在于，该装置包括：

数据获取模块，用于确定源图像中的待合成图像以及待合成图像在源图像中的位置信息，所述位置信息为所述待合成图像的像素点的坐标信息；

计算模块，用于确定目标图像与源图像的尺寸比值，所述尺寸比值包括：所述目标图像与所述源图像的长度比值和宽度比值；

色彩获取模块，用于获取所述待合成图像的在所述目标图像中显示的色彩值；

图像合成模块，包括换算子模块和色彩设定子模块；所述换算子模块用于当所述位置信息为所述待合成图像的各像素点的坐标信息时，将所述各像素点长度方向和宽度方向的坐标值分别与所述长度比值和所述宽度比值相乘，得到在所述目标图像中对应像素点的坐标值；所述色彩设定子模块用于当所述位置信息为所述待合成图像的各像素点的坐标信息时，根据所述色彩值设定所述目标图像中对应像素点的色彩参数；

所述换算子模块还用于当所述位置信息为所述待合成图像边界上的各像素点的坐标信息时，将所述边界上的各像素点的坐标分别与所述长度比值和所述宽度比值相乘，得到边界上的各像素点在所述目标图像中对应的边界像素点的坐标值；所述目标图像中的边界像素点围合的区域为待合成区域；所述色彩设定子模块还用于当所述位置信息为所述待合成图像边界上的各像素点的坐标信息时，根据所述色彩值设定所述待合成区域内的各像素点的色彩参数。