CN106657964A - 伪立体gif动画自动合成系统及其图像处理方法 - Google Patents

Abstract

本发明公开了一种伪立体GIF动画自动合成系统，其包括：立体视频获取及处理模块，景深获取模块，系统参数设置模块，白条添加模块，GIF动画合成模块。本发明的图像处理方法解决了伪立体GIF动画人工制作过程中耗时费力，效果存在瑕疵等问题，该系统基于具有视差的双目立体视频素材，利用计算机图像处理的方法自动在单眼视图图像中添加白条，同时处理遮挡关系，自动合成伪立体GIF动画，该系统利用计算机自动处理的方式代替人工操作，除了省时省力之外，还可以达到较高的处理精度和视觉效果。

Description

伪立体GIF动画自动合成系统及其图像处理方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种伪立体GIF动画自动合成系统及其图像处理方法。

背景技术

立体显示(又称3D显示、三维显示)，其利用各种光学手段模拟人眼在现实世界的观看方式，实现具有纵深感的立体信息显示方式。立体显示比平面显示更为真实地重现了人类的视觉感知，其在生产、生活中的应用也十分广泛。由于人的双眼存在位置上的差异，所观看到的同一场景也存在细微差异，左右眼获取图像的差异通过大脑感知后可以产生深度信息。这种通过双眼获取图像的差异感知深度的能力称为立体视觉，也称为深度感知中的双眼线索。人眼及其大脑的视觉处理系统，除了通过双眼线索感知深度以外，还有多种单眼线索可以提供深度信息。通过单眼线索，人们可以仅用一只眼睛分辨物体的远近，这些单眼线索最早由画家发现。其中最常见的单眼线索有遮挡关系、透视性以及相对尺寸。当一个物体被其它物体(部分)遮挡时，人们通常认为该物体处在其它物体的后面。

当物体运动时，物体之间的遮挡关系会发生变化，遮挡关系带来的深度感知会更加显著。基于这种遮挡关系，以及人们对立体感知的追捧，就产生了一种伪立体GIF动画。伪立体GIF动画通常在平面图像中加上白条作为遮挡和被遮挡的物体，动画中的每帧图像根据物体远近关系设计场景内容与白条的遮挡关系，最终连贯成动画效果。伪立体GIF动画增强了平面动画的立体效果，可以在普通平面显示媒体上进行展示。

基于视觉遮挡关系的伪立体GIF动画的制作目前只有纯手工制作方法，即利用Photoshop等图像处理软件在形成动画的每一帧图像上添加处于相同位置和宽度的白条，同时设计不同的遮挡关系。该过程相当繁琐和耗时，同时细节处理的效果难免存在瑕疵。一个完整的伪立体GIF动画通常由上百帧以上的图像组成，完成其耗费的时间、精力较大。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种伪立体GIF动画自动合成系统及其图像处理方法，本发明的图像处理方法解决了伪立体GIF动画制作过程中耗时费力，效果存在瑕疵等问题，该系统基于具有视差的双目立体视频素材，利用计算机图像处理的方法自动在单眼视图图像中添加白条，同时处理遮挡关系，自动合成伪立体GIF动画，该系统利用计算机自动处理的方式代替人工操作，除了省时省力之外，还可以达到较高的处理精度和视觉效果。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种伪立体GIF动画自动合成系统，其包括：

立体视频获取及处理模块，所述立体视频获取及处理模块读取3D视频素材后进行处理和计算，获取相关信息和图像，所述立体视频获取及处理模块将获取的相关信息传输给系统参数设置模块，所述立体视频获取及处理模块将获取的相关图像传输给景深图获取模块和白条添加模块，相关图像包括每一帧立体图像的左视图和右视图；

所述景深获取模块从所述立体视频获取及处理模块中获取相关图像，并选择相关图像中的一个视图为基准视图,另一视图为参考视图,利用图像匹配的方式获取基准视图的景深图；

所述系统参数设置模块用于设置在平面图像上添加白条的数目n、每个白条的平面位置x、宽度w、深度位置p，所述系统参数设置模块将设置好的参数传输给白条添加模块；

所述白条添加模块从所述立体视频获取及处理模块中获取相关图像，用于在基准视图上添加白条，每一帧的基准视图为左视图和右视图中的一个，并且与景深获取模块中的选择保持一致，在所述白条添加模块白条添加过程中，所需的白条添加区域和白条深度位置p从所述系统参数设置模块中获取相关参数信息，所需的景深图从所述景深获取模块中获取，经过所述白条添加模块获得的添加了白条的基准视图再传输给GIF动画合成模块；

所述GIF动画合成模块用于从所述白条添加模块获取添加了白条的基准视图，将每一帧添加了白条的基准视图按序合成伪GIF格式的动画。

优选地，所述立体视频获取及处理模块处理的素材为由左右视图组成的3D视频片段，所述立体视频获取及处理模块读取3D视频片段后，对3D视频片段进行处理和计算，获取的相关信息包括：视频片段的帧数N、视频的分辨率h*v，获取的相关图像包括每一帧立体图像的左视图和右视图，左视图和右视图的分辨率都是h*v。

优选地，所述景深图对应每个像素深度信息，归一化后利用0-1范围内的值表达，数值越大表明场景中的景物越靠近观察者。

优选地，所述系统参数设置模块可设置添加n个白条，每个白条的宽度w和深度位置p相同，深度位置p的可设置范围与景深图深度信息范围一致，p为0-1之间的数值，白条平面位置x和宽度w以像素为单位，具体数值根据所述立体视频获取及处理模块获得的视频分辨率和相应算法计算而得。

优选地，所述白条添加模块在白条添加过程中，对被添加区域内的图像景深d进行获取，并与该区域内白条的深度位置p进行比较，并且根据比较结果判断遮挡关系，进行添加白条的图像处理。

优选地，一种伪立体GIF动画自动合成系统中的图像处理方法，包括以下步骤：

S1输入立体视频，进入步骤S2；

S2获取视频的图像总帧数N、水平分辨率h、垂直分辨率v，进入步骤S3；

S3从1到N按序读取第i帧立体图像，并进行图像切割和插值拉伸处理，获得分辨率为h*v的左视图和右视图，进入步骤S4；

S4选择一幅单眼视图作为基准视图，另一幅作为参考视图，对获得的左视图和右视图进行立体匹配，获得基准视图对应的景深图，并进入步骤S5；

S5设置添加白条的参数，其中，参数包括数目n，每个白条的平面位置x、宽度w、深度位置p，进入步骤S6；

S6在白条平面位置x和宽度w定义的区域范围内，判断白条与基准视图内容的遮挡关系，同时在基准视图上添加白条，并进入步骤S7；

S7判断当前处理的图像帧编号i是否小于总帧数N，如果是，返回S3，i＝i+1,处理下一帧图像，否则进入S8中；

S8将每一帧添加了白条的基准视图按序合成GIF格式的动画。

优选地，S6中图像处理流程包括：

S601在白条平面位置x和宽度w定义的区域范围内，通过景深图逐个获取像素点对应的景深d,并且进入步骤S602中；

S602判断当前像素位置对应深度d是否小于设置的白条深度位置p，如果是，进入S603,如果不是，进入步骤S604；

S603基准视图对应像素位置的内容设置为全白色，进入S605；

S604保留基准视图对应像素位置的内容不变，并进入步骤S605；

S605判断是否完成白条平面位置x和宽度w定义的区域范围内所有像素的操作，如果是，则获得在基准视图上添加了白条的基准图像，否则返回S601，对白条平面位置x和宽度w定义的区域范围内其它像素进行同样的操作，直至完成所有像素的操作。

优选地，S603中，对于通常8位3通道彩色图像，设置R＝G＝B＝255。

优选地，S4中获得景深图的方式还包括利用具有深度图获取功能的摄像机直接获得深度图。

优选地，S6中添加白条的方式包括：添加垂直方向的白条，添加水平方向的白条，添加白色网格以及不同形状的白色面。

本发明的有益效果是:

本发明的图像处理方法解决了伪立体GIF动画人工制作过程中耗时费力，效果存在瑕疵等问题，该系统基于具有视差的双目立体视频素材，利用计算机图像处理的方法自动在单眼视图图像中添加白条，同时处理遮挡关系，自动合成伪立体GIF动画，该系统利用计算机自动处理的方式代替人工操作，除了省时省力之外，还可以达到较高的处理精度和视觉效果。

本发明建立了图像处理系统，利用图像处理的方式自动生成伪立体GIF动画，处理速度快，精度高，视觉效果好。代替繁琐、耗时、费力的人工操作，可以批量获取伪立体GIF动画，对其进一步发展起到积极的促进作用。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

为了更清楚地说明本发明实施例技术中的技术方案，下面将对实施例技术描述中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明的系统原理图；

图2是本发明的方法流程图；

图3是图2中判断白条与基准视图内容的遮挡关系并且添加白条的步骤流程图；

图4是实施例中基准视图上白条添加的效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

参照图1所示，实施例1中公开了一种伪立体GIF动画自动合成系统，其包括：立体视频获取及处理模块，景深获取模块，系统参数设置模块，白条添加模块，GIF动画合成模块。

上述合成系统的工作原理为：所述立体视频获取及处理模块读取3D视频素材后进行处理和计算，获取相关信息和图像，所述立体视频获取及处理模块将获取的相关信息传输给系统参数设置模块，所述立体视频获取及处理模块将获取的相关图像传输给景深图获取模块和白条添加模块，相关图像包括每一帧立体图像的左视图和右视图。

其中，所述立体视频获取及处理模块的素材为由左右视图组成的3D视频片段，所述立体视频获取及处理模块读取3D视频片段后，对3D视频片段进行处理和计算，获取的相关信息包括：视频片段的帧数N、视频的分辨率h*v(以像素列数h和行数v表示)，获取的相关图像包括每一帧立体图像的左视图和右视图，左视图和右视图的分辨率都是h*v。立体图像一般是左右格式，左半是左视图右半是右视图，两视图合成左右格式一般是通过对原始左右视图进行了水平方向的压缩，压缩为原来的一半宽度，立体显示的时候再通过插值的方式拉伸成原始宽度，所以此处要获取原始分辨率的左右视图图像，需要分别对左右视图进行插值拉伸。

所述景深获取模块从所述立体视频获取及处理模块中获取的相关图像，利用图像匹配的方式获取景深图；所述景深获取模块以左视图和右视图中的一个视图为基准视图,另一视图为参考视图，获取基准视图图像对应的景深图，景深图对应每个像素深度信息，归一化后利用0-1范围内的值表达，数值越大表明场景中的景物越靠近观察者。

所述系统参数设置模块用于设置在平面图像上添加白条的数目n、每个白条的平面位置x、宽度w、深度位置p，所述系统参数设置模块将设置好的参数传输给白条添加模块。一般情况下，所述系统参数设置模块可设置添加n个白条，每个白条的宽度w和深度位置p相同，深度位置p的可设置范围与景深图深度信息范围一致，p为0-1之间的数值，白条平面位置x和宽度w以像素为单位，具体数值根据所述立体视频获取及处理模块获得的视频分辨率(像素列数h和行数v)和相应算法计算而得，比如欲在图像上添加两个水平方向上的垂直白条，白条数目n设置为2，白条位置x分别设置为h/3和h*2/3，白条宽度w设置成相同的h/30。

所述白条添加模块从所述立体视频获取及处理模块中获取相关图像，用于在基准视图上添加白条，每一帧的基准视图为左视图和右视图中的一个，并且与景深获取模块中的选择保持一致，所述白条添加模块在白条添加过程中，对被添加区域内的图像景深d进行获取，并与该区域内白条的深度位置p进行比较，并且根据比较结果判断遮挡关系，进行添加白条的图像处理。在所述白条添加模块白条添加过程中，所需的白条添加区域和白条深度位置p从所述系统参数设置模块中获取相关参数信息，所需的景深图从所述景深获取模块中获取，经过所述白条添加模块获得的添加了白条的基准视图再传输给GIF动画合成模块。

所述GIF动画合成模块用于从所述白条添加模块获取添加白条的基准视图，将每一帧添加了白条的基准视图按序合成伪GIF格式的动画。在实施例1中的按序是指GIF动画中每帧图像的先后顺序与立体视频中每帧图像的先后顺序一致。

实施例2

实施例2中公开了一种图像处理方法，如图2中所示，包括以下步骤：

S1输入立体视频，进入步骤S2；

S2获取视频的图像总帧数N、水平分辨率h、垂直分辨率v，进入步骤S3；

S3从1到N按序读取第i帧立体图像，并进行图像切割和插值拉伸处理，获得分辨率为h*v的左视图和右视图，进入步骤S4；

S4选择一幅单眼视图作为基准视图，另一幅作为参考视图，对获得的左视图和右视图进行立体匹配，获得基准视图对应的景深图，并进入步骤S5；

S5设置添加白条的参数，其中，参数包括数目n，每个白条的平面位置x、宽度w、深度位置p，进入步骤S6；

S6在白条平面位置x和宽度w定义的区域范围内，判断白条与基准视图内容的遮挡关系，同时在基准视图上添加白条，并进入步骤S7；

S7判断当前处理的图像帧编号i是否小于总帧数N，如果是，返回S3，i＝i+1,处理下一帧图像，否则进入S8中；

S8将每一帧添加了白条的基准视图按序合成GIF格式的动画。

其中，S4中除了利用立体匹配的方式获得深度图以外，还有可能利用其它方式获得，比如具有深度图获取功能的摄像机可以直接获得深度图，利用这样的深度图同样可以进一步进行添加白条操作，在图3的关键图像处理技术流程中，深度图的来源方式不受限制。

S6中除了可以添加垂直方向的白条外，也可以添加水平方向的白条，甚至可以添加白色网格以及不同形状的白色面，此处的白条形式仅仅是具有代表性的遮挡，广义的白色遮挡面的形状、颜色并不受限制。

如图3所示，其中，S6中图像处理流程具体包括：

S601在白条平面位置x和宽度w定义的区域范围内，通过景深图逐个获取像素点对应的景深d,并且进入步骤S602中；

S602判断当前像素位置对应深度d是否小于设置的白条深度位置p，如果是，进入S603,如果不是，进入步骤S604；

S603基准视图对应像素位置的内容设置为全白色(对于通常8位3通道彩色图像，设置R＝G＝B＝255，)进入S605；

S604保留基准视图对应像素位置的内容不变，并进入步骤S605；

S605判断是否完成白条平面位置x和宽度w定义的区域范围内所有像素的操作，如果是，则获得在基准视图上添加了白条的基准图像，否则返回S601，对白条平面位置x和宽度w定义的区域范围内其它像素进行同样的操作，直至完成所有像素的操作。

基于上述的图像处理步骤，图像处理结果如图4中所示，该系统和方法能够达到较高的处理精度和视觉效果。图像处理方法解决了伪立体GIF动画制作过程中耗时费力，效果存在瑕疵等问题，该系统基于具有视差的双目立体视频素材，利用计算机图像处理的方法自动在单眼视图图像中添加白条，同时处理遮挡关系，自动合成伪立体GIF动画，该系统利用计算机自动处理的方式代替人工操作，除了省时省力之外，还可以达到较高的处理精度和视觉效果。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种伪立体GIF动画自动合成系统，其特征在于，其包括：

立体视频获取及处理模块，所述立体视频获取及处理模块读取3D视频素材后进行处理和计算，获取相关信息和图像，所述立体视频获取及处理模块将获取的相关信息传输给系统参数设置模块，所述立体视频获取及处理模块将获取的相关图像传输给景深图获取模块和白条添加模块，相关图像包括每一帧立体图像的左视图和右视图；

所述景深获取模块从所述立体视频获取及处理模块中获取相关图像，并选择相关图像中的一个视图为基准视图,另一视图为参考视图,利用图像匹配的方式获取基准视图的景深图；

所述系统参数设置模块用于设置在平面图像上添加白条的数目n、每个白条的平面位置x、宽度w、深度位置p，所述系统参数设置模块将设置好的参数传输给白条添加模块；

所述白条添加模块从所述立体视频获取及处理模块中获取相关图像，用于在基准视图上添加白条，每一帧的基准视图为左视图和右视图中的一个，并且与景深获取模块中的选择保持一致，在所述白条添加模块白条添加过程中，所需的白条添加区域和白条深度位置p从所述系统参数设置模块中获取相关参数信息，所需的景深图从所述景深获取模块中获取，经过所述白条添加模块获得的添加了白条的基准视图再传输给GIF动画合成模块；

所述GIF动画合成模块用于从所述白条添加模块获取添加了白条的基准视图，将每一帧添加了白条的基准视图按序合成伪GIF格式的动画。

2.根据权利要求1所述的伪立体GIF动画自动合成系统，其特征在于，所述立体视频获取及处理模块处理的素材为由左右视图组成的3D视频片段，所述立体视频获取及处理模块读取3D视频片段后，对3D视频片段进行处理和计算，获取的相关信息包括：视频片段的帧数N、视频的分辨率h*v，获取的相关图像包括每一帧立体图像的左视图和右视图，左视图和右视图的分辨率都是h*v。

3.根据权利要求1所述的伪立体GIF动画自动合成系统，其特征在于，所述景深图对应每个像素深度信息，归一化后利用0-1范围内的值表达，数值越大表明场景中的景物越靠近观察者。

4.根据权利要求1所述的伪立体GIF动画自动合成系统，其特征在于，所述系统参数设置模块可设置添加n个白条，每个白条的宽度w和深度位置p相同，深度位置p的可设置范围与景深图深度信息范围一致，p为0-1之间的数值，白条平面位置x和宽度w以像素为单位，具体数值根据所述立体视频获取及处理模块获得的视频分辨率和相应算法计算而得。

5.根据权利要求1所述的伪立体GIF动画自动合成系统，其特征在于，所述白条添加模块在白条添加过程中，对被添加区域内的图像景深d进行获取，并与该区域内白条的深度位置p进行比较，并且根据比较结果判断遮挡关系，进行添加白条的图像处理。

6.一种伪立体GIF动画自动合成系统中的图像处理方法，其特征在于，包括以下步骤：

S1输入立体视频，进入步骤S2；

S2获取视频的图像总帧数N、水平分辨率h、垂直分辨率v，进入步骤S3；

S3从1到N按序读取第i帧立体图像，并进行图像切割和插值拉伸处理，获得分辨率为h*v的左视图和右视图，进入步骤S4；

S4选择一幅单眼视图作为基准视图，另一幅作为参考视图，对获得的左视图和右视图进行立体匹配，获得基准视图对应的景深图，并进入步骤S5；

S5设置添加白条的参数，其中，参数包括数目n，每个白条的平面位置x、宽度w、深度位置p，进入步骤S6；

S6在白条平面位置x和宽度w定义的区域范围内，判断白条与基准视图内容的遮挡关系，同时在基准视图上添加白条，并进入步骤S7；

S7判断当前处理的图像帧编号i是否小于总帧数N，如果是，返回S3，i＝i+1,处理下一帧图像，否则进入S8中；

S8将每一帧添加了白条的基准视图按序合成GIF格式的动画。

7.根据权利要求6所述的一种伪立体GIF动画自动合成系统中的图像处理方法，其特征在于，S6中图像处理流程包括：

S601在白条平面位置x和宽度w定义的区域范围内，通过景深图逐个获取像素点对应的景深d,并且进入步骤S602中；

S602判断当前像素位置对应深度d是否小于设置的白条深度位置p，如果是，进入S603,如果不是，进入步骤S604；

S603基准视图对应像素位置的内容设置为全白色，进入S605；

S604保留基准视图对应像素位置的内容不变，并进入步骤S605；

S605判断是否完成白条平面位置x和宽度w定义的区域范围内所有像素的操作，如果是，则获得在基准视图上添加了白条的基准图像，否则返回S601，对白条平面位置x和宽度w定义的区域范围内其它像素进行同样的操作，直至完成所有像素的操作。

8.根据权利要求7所述的一种伪立体GIF动画自动合成系统中的图像处理方法，其特征在于，S603中，对于通常8位3通道彩色图像，设置R＝G＝B＝255。

9.根据权利要求6所述的一种伪立体GIF动画自动合成系统中的图像处理方法，其特征在于，S4中获得景深图的方式还包括利用具有深度图获取功能的摄像机直接获得深度图。

10.根据权利要求6所述的一种伪立体GIF动画自动合成系统中的图像处理方法，其特征在于，S6中添加白条的方式包括：添加垂直方向的白条，添加水平方向的白条，添加白色网格以及不同形状的白色面。