CN103310477A - 一种三维影像生成方法 - Google Patents

Abstract

本发明提出一种三维影像生成方法，包括：一、获取原始二维图像，作为第一视图，从原始二维图像提取多个目标区域，将多个目标区域分为感兴趣目标区域和非感兴趣目标区域；二、根据不同的非感兴趣目标区域的景深对各个非感兴趣目标区域进行整体偏移；三、对感兴趣目标区域进行精细偏移；四、根据偏移后的感兴趣目标区域和非感兴趣区域，生成第二视图。本发明的技术方案提出了一种针对不同放映场合的三维影像偏移量计算方式，并通过区域偏移和精细偏移结合的方式在降低计算量的基础上，取得很好的三维视觉沉浸效果，同时该技术方案可以根据用户的需求自由、灵活进行感兴趣目标的嵌入和移动，为影视、动画的三维制作提供更为方便、快捷的转换方式。

Description

一种三维影像生成方法

技术领域

本发明涉及三维影像生成领域，特别涉及一种基于多目标区域的三维动画生成方法。

背景技术

目前，三维技术的发展已经越来越受到人们的重视，三维成像原理是基于人左右两只眼睛看物体时视角的不同，获取两个具有视差的左右眼图像，大脑将这两个具有视差的图像合成时获得了物体的距离差，进而形成立体视觉。而常规的平面影像由于进入双眼的是视角完全相同的图像，所以视觉和大脑无法提取画面上物体真实意义上的空间立体感,不能体现其三维关系，因此给观众的融入感大大低于三维影像，基于三维技术最关键的技术就是在于如何同步取得不同视角的影像。

进行三维影像制作的方式主要包括三种：一是利用立体摄相机或多个相机进行多视角的拍摄，虽然立体摄影拍摄的立体图片给人以呼之欲出，毫发在现的真实感觉，但这种方式在拍摄和制作过程十分复杂，为三维技术的推广带来一定的束缚；二是运用三维动画制作技术，为图像进行三维建模，构造出图像中各部分的景深，进而获得三维效果，由于需要对图像中所有目标进行建模，运算量较大，制作周期较长；除此之外就是运用计算机软件技术和图像处理技术对已有的二维动画或其他影像进行转换，制作成三维动画或影像，由于该技术是基于原有的二维视频进行处理，实现起来成本最低，最为方便，因此受到国内外最大的关注，然而该技术仅针对画面简洁的影像能模拟出较好效果，而对场景繁杂的影像无法获取较好的沉浸效果。

发明内容

本发明旨在至少解决上述技术缺陷之一，提出利用一种三维影像生成方法，该方法能够通过二次偏移获得逼真的三维效果，且计算量小、实现成本低。

本发明的第一个目的在于提出一种基于多目标区域的三维影像生成方法，其特征在于，该方法包括以下步骤：

步骤一、获取原始二维图像，作为第一视图，从原始二维图像提取多个目标区域，将多个目标区域分为感兴趣目标区域和非感兴趣目标区域；

步骤二、根据不同的非感兴趣目标区域的景深对各个非感兴趣目标区域进行整体偏移；

步骤三、对感兴趣目标区域进行精细偏移；

步骤四、根据偏移后的感兴趣目标区域和非感兴趣区域，生成第二视图。

优选地，所述步骤二包括：

2.1设定原始二维画面内的景深基准点。

2.2根据景深基准点指定各个非感兴趣目标区域的景深值。

2.3根据非感兴趣目标区域的景深值f获取所在目标区域整体偏移量D，并根据该整体偏移量D对该非感兴趣目标区域进行整体偏移。

优选地，所述步骤2.3中所述整体偏移量D的计算方式为：

其中，λ为调整系数，f表示非感兴趣目标区域的景深值；λ为调整系数；F为视距。

优选地，所述调整系数λ取值范围为28-32，视距F的取值范围为3-15m。

优选地，其特征在于步骤三包括以下子步骤：

3.1对感兴趣目标区域各个像素进行分层，不同的分层指定不同的景深值；

3.2按照各个分层的景深对感兴趣目标区域的像素进行逐像素的精细偏移。

优选地，步骤一中感兴趣目标区域来自嵌入图像，步骤一具体为：获取原始二维图像以及嵌入图像，从原始二维图像提取一个或多个目标区域作为非感兴趣目标区域，从嵌入图像提取一个或多个目标区域作为感兴趣目标区域，将嵌入图像中的感兴趣目标区域嵌入原始二维图像中，作为第一视图。

优选地，步骤四后，当三维影像的前后两帧中仅感兴趣目标区域的景深发生变化时，执行以下步骤：

5.1 对前一帧的感兴趣目标区域进行缩放；

5.2对缩放后的感兴趣目标区域进行偏移，获取感兴趣目标区域内各像素点的偏移量，当前帧感兴趣目标区域内当前像素的偏移量为： D_aft = D_bef /（(Z_bef/ Z_aft)* (f_bef/f_aft)） 

其中， D_bef为前一帧感兴趣目标区域对应像素的偏移量， f_aft为当前帧感兴趣目标区域当前像素的景深， f_bef为前一帧感兴趣目标区域对应像素的景深，Z_bef/ Z_aft为前一帧和当前帧感兴趣目标区域成像大小的比值；

5.3利用缩放后的感兴趣目标区域代替前一帧第一视图中的感兴趣区域，生成当前帧第一视图，利用缩放并偏移后的感兴趣目标区域代替前一帧第二视图中的感兴趣区域，生成当前帧第二视图。

附图说明

图1为本发明实施例一中所有目标区域经整体偏移获得的左右眼视角图。

图2为本发明实施例一非感兴趣目标区域经整体偏移结合感兴趣目标区域经精细偏移获得的左右眼视角图。

图3为本发明中基于不同视距F的景深-偏移量关系。

图4为本发明实施例二中嵌入图像中目标区域经精细偏移获得的左右眼视角图。

图5为本发明实施例二中原始二维图像P目标区域经整体偏移获得的左右眼视角图。

图6为本发明实施例二中左右眼视图交叉融合效果图。

图7为本发明实施例三经感兴趣目标区域景深变化时前一帧图像的左右眼视图。

图8为本发明实施例三经感兴趣目标区域景深变化时当前帧图像的左右眼视图。

具体实施方式

参照下面的描述和附图，将清楚描述本发明具体技术方案。

实施例一

一种三维动画（影像）处理方法，包括以下步骤：

步骤一、获取原始二维图像，作为第一视图，从原始二维图像提取多个目标区域，将多个目标区域分为感兴趣目标区域和非感兴趣目标区域。

以如图1上的原始二维图像P作为左眼图像，制作成三维影像时，需要根据该左眼图像进行的三维转换，获得灰度偏移后的右眼图像P’，观看时，观众的左眼捕获左眼图像，右眼图像捕获同步的右眼图像，双眼图像的视觉差产生三维效果。

如图1上所示，原始二维图像为一个俯视图像，包括至少三个由近及远的目标区域：人物M1、人物所站立的浮板M2、以及远处的镂空地面M3……。

在影像的每个场景或图像中通常存在一个或多个感兴趣目标区域（ROI，Region of Interests），相当于前景区域，该区域中的目标物是人们所关注的重点，当对感兴趣目标区域的物体进行了精细的三维处理时，将极大地增强人们的现场沉浸感，如M1；同时场景或图像中还会存在一个以上的非感兴趣目标区域，相当于背景区域，该区域中的目标物不易被观众所关注，适度降低该区域的三维处理复杂度和计算量，并不会降低人们的现场沉浸感，如M2，基于此可以根据人们对各个目标区域的关注度对不同的区域进行不同的三维处理。

步骤二、根据不同的非感兴趣目标区域的景深对各个非感兴趣目标区域进行整体偏移。

首先，设定原始二维画面P内的景深基准点O。在三维影像制作时，景深基准点是镜头的焦点，也是观众的视觉中心，该基准点所在平面上的像素点在左右眼图像中位置一致，不存在视差。我们称视点（即观众人眼或摄像机镜头）距离该基准点所在平面的距离为视距F。整个三维图像中根据目标物像距离的远近在景深上存在一定的跨度，当目标物像远于景深基准点所在物像时，景深值大于0，在三维显示时该物体应当凹入显示屏幕，而当目标物像相对于景深基准点所在物像距观众更近时，景深值小于0，在三维显示时该物像会突出于显示屏幕。图1为一幅视点位于高处的俯视图，可以将该图像中的景深基准点设定在高于所有目标区域的位置上，在三维显示时获得物体凹入显示屏幕的效果。

接着，根据景深基准点指定各个非感兴趣目标区域的景深值f。该景深值是基于于景深基准点设定的，将景深基准点所在的平面层作为零景深值层，物像较景深基准点远的设定为正值，物像较景深基准点近的设定为负值。

最后，根据非感兴趣目标区域的景深值f获取所在目标区域整体偏移量D，并根据该整体偏移量D对该非感兴趣目标区域进行整体偏移。利用二维图像转换技术制作三维影像的原理在于，通过原始二维图像的偏移，形成两幅不同偏移量的图像，利用这两幅图像作为不同视角的左右眼图像，因此如何确定目标物体的偏移量是三维影像制作的关键，也是获得最优三维视觉效果的重要因素之一。

本发明中提出了一种有效的目标区域的景深D与目标区域偏移量之间的计算方式：

                   

                             （1）

其中λ为调整系数，本实施例中该调整系数λ设置为1/30，视距F为15m；通过视距F的调整可以获取适合不同应用场合的三维影像，例如，如果该三维影像是用于大影院放映，可将F设置为较大的值，如范围在10-15m，如果该三维影像是针对电视放映，可以将F适当减小，如3-8m。如附图3所示，根据不同的F值获得的相应偏移。

步骤三、对感兴趣目标区域进行精细偏移。

在对感兴趣目标区域进行精细偏移时，首先对该区域各个像素进行分层，不同的分层指定不同的景深值，接着按照各个分层的景深对感兴趣目标区域的像素进行逐像素的精细偏移。各像素的精确偏移量D’同样可以根据公式来确定，f表示感兴趣目标区域各像素所隶属分层的景深值；λ同步骤二为调整系数；F同步骤二为视距。

步骤四、根据偏移后的感兴趣目标区域和非感兴趣区域，生成第二视图。

根据步骤二可以获得原始图像中非感兴趣区域的整体偏移位移，根据步骤三可以获得原始图像中感兴趣区域的精细偏移位移，以下结合附图1、2对仅经过区域整体偏移获得的左右眼视图，以及经过区域偏移和精细偏移结合获得的左右眼视图进行比较。

图1为对原始二维图像中所有目标区域按照景深进行整体偏移获得的左右眼图像，其中，图1上为原始二维图像，设定为左眼图像，图1下为偏移后的图像，设定为的右眼图像。在图像的目标区域M1、M2和M3上取5个采样点，其中，感兴趣目标区域M1上具有1、2、3三个采样点，采样点1位于M1头部的鼻尖上，采样点2位于M1脚部，采样点3位于M1躯干上，采样点4和5分别位于M2和M3上，各采样点的偏移量分别为D1、D2、D3、D4、D5，由图1可知， D1=D2=D3<D4<D5，也就是说目标区域的景深越大，偏移越大，且同一目标区域的偏移量相同，由图1左右眼图像获得的三维显示效果是各个感兴趣目标区域之间有纵深的立体感受，而在同一块目标区域M1上由于各像素点在左右眼图像的偏移量是一样的，因此三维显示效果是平面的，没有凹凸的效果。

图2是基于本实施例采用将对非感兴趣目标区域进行整体的初步偏移与对感兴趣目标区域进行精细偏移结合的方式，获得的左右眼图像，其中，图2上为原始二维图像，设定为左眼图像，图2下为偏移后的图像，设定为的右眼图像。在图2中选取5个与图1一致的采样点，由图2可知，D1<D2<D3<D4<D5，不仅保证了不同目标区域的偏移随景深的增加而增加，而且在同一目标区域（感兴趣目标区域）M1上，不同位置的像素点具有不同的偏移量，因此由图2左右眼图像进行三维显示时可以感觉到，在同一目标区域M1中头部、躯干和脚部逐渐凹入屏幕，使立体效果更为强烈。

由于本发明是基于二维图像中的目标区域进行独立的灰度偏移，各个目标区域相互不受影响，因此对三维图像的制作更为灵活，例如在三维图像的生成过程中，可以根据实际情况将不属于原始二维图像的目标图像增加到三维图像中。实施例二将结合附图说明具体说明该内容。

实施例二

一种三维动画（影像）处理方法，包括以下步骤：

步骤一、获取原始二维图像P以及嵌入图像Q，根据原始二维图像P提取一个或多个目标区域作为非感兴趣目标区域，从嵌入图像Q提取一个或多个目标区域作为感兴趣目标区域，将嵌入图像Q中的感兴趣区域嵌入原始二维图像P中，作为第一视图。

如图4所示，嵌入图像Q包括一个目标区域M1，将该目标区域作为感兴趣目标区域。如图5所示，原始二维图像P至少包括三个由近及远的目标区域士兵M2、护栏M3、花瓶柱围栏M4，将M2、M3、M4作为非感兴趣目标区域。

步骤二、根据非感兴趣目标区域的景深对各个非感兴趣目标区域进行整体偏移。

首先，设定二维画面P内的景深基准点O。在本实施例中可以将图5的景深基准点O设置在所有目标区域和视点之间，使各目标区域的景深都大于0，在三维显示时获得物体凹入显示屏幕的效果。

接着，根据景深基准点指定各个目标区域的景深值。

最后，根据非感兴趣目标区域的景深值f获取所在区域整体偏移量D，并根据该整体偏移量D对该非感兴趣目标区域进行整体偏移。

其中，调整系数λ为1/28，视距F为12m。左右眼视图如图5所示，图5上原始二维图像P，图5下为经过区域整体偏移后的二维图像，两者构成所要得到的三维场景背景的左右眼视图。从该背景中的目标区域士兵M2、护栏M3、花瓶柱围栏M4上取4个采样点，采样点1位于M2上，采样点2位于M3上，采样点3和4位于M4上，各采样点的偏移量分别为D1、D2、D3、D4，由图5可知， D1<D2<D3=D4.

步骤三、对嵌入图像中的感兴趣区域进行精细偏移。

在对步骤一提取的一个或多个感兴趣目标区域进行精细偏移时，对上述区域各个像素进行分层，不同的分层对应不同的景深，按照各个分层的景深对感兴趣目标区域的像素进行精细偏移。各像素精确偏移量D’同样可以根据公式：

来确定，f表示感兴趣目标区域各像素所隶属分层的景深值；λ为调整系数，取值为1/28；F为视距，取值为12m。

步骤四、根据偏移后的感兴趣目标区域和非感兴趣区域，生成第二视图。

由步骤二可以获得原始图像中非感兴趣区域的整体偏移位移，根据偏移后的非感兴趣区域得到右眼视图的背景，由步骤三可以获得嵌入图像中感兴趣区域的精细偏移位移， 将偏移后的感兴趣目标区域嵌入到右眼视图的背景中生成最终的右眼视图，本实施例中左右眼视图交叉融合如图6所示。

实施例三

影视动画中通常存在同一场景组的连续帧，例如实施例二中，当嵌入的感兴趣目标由近及远的移动过程，为了减少运算量，可以保持其他非感兴趣目标左右眼视图，仅仅对感兴趣目标区域进行处理。由于感兴趣目标的远近距离，即景深，发生了变化，该目标所在区域大小和偏移也会随之改变，因此可以仅针对感兴趣目标区域进行区域的缩放，以及偏移的缩放变换。如图7、8所示，图7为感兴趣目标区域景深变化时前一帧图像，图8为当前帧图像。其中采样点1位于非感兴趣目标区域中，采样点2和3位于景深变化的感兴趣目标区域。

当感兴趣目标区域景深变化时，首先对感兴趣目标区域进行缩放。

接着并对缩放后的感兴趣目标区域进行偏移，获取感兴趣目标区域内各像素点的偏移量，其中感兴趣目标区域各像素点的偏移量为：

 D_aft = D_bef /（(Z_bef/ Z_aft)* (f_bef/f_aft)） 

其中，D_aft为当前帧感兴趣目标区域内当前像素的偏移量，D_bef为前一帧感兴趣目标区域对应像素的偏移量， f_aft为当前帧感兴趣目标区域当前像素的景深， f_bef为前一帧感兴趣目标区域对应像素的景深，Z_bef/ Z_aft为前一帧和当前帧感兴趣目标区域成像大小的比值。由图7和图8可知，当感兴趣目标区域的景深变化时，非感兴趣目标区域的采样点1偏移量没有改变，而感兴趣目标区域的采样点2和3则因景深和感兴趣目标区域缩放发生了变化。

最后，利用缩放后的感兴趣目标区域代替前一帧第一视图中的感兴趣区域，利用缩放并偏移后的感兴趣目标区域代替前一帧第二视图中的感兴趣区域。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。

Claims (7)

1.一种三维影像处理方法，其特征在于，该方法包括以下步骤：

步骤一、获取原始二维图像，作为第一视图，从原始二维图像提取多个目标区域，将多个目标区域分为感兴趣目标区域和非感兴趣目标区域；

步骤二、根据不同的非感兴趣目标区域的景深对各个非感兴趣目标区域进行整体偏移；

步骤三、对感兴趣目标区域进行精细偏移；

步骤四、根据偏移后的感兴趣目标区域和非感兴趣区域，生成第二视图。

2.一种如权利要求1所述的三维影像处理方法，其特征在于：所述步骤二包括：

2.1设定原始二维画面内的景深基准点；

2.2根据景深基准点指定各个非感兴趣目标区域的景深值；

2.3根据非感兴趣目标区域的景深值f获取所在目标区域整体偏移量D，并根据该整体偏移量D对该非感兴趣目标区域进行整体偏移。

3.一种如权利要求2所述的三维影像处理方法，其特征在于：所述步骤2.3中所述整体偏移量D的计算方式为：

其中，λ为调整系数，f表示非感兴趣目标区域的景深值；λ为调整系数；F为视距。

4.一种如权利要求1-3任一项所述的三维影像处理方法，其特征在于：所述调整系数λ取值范围为28-32，视距F的取值范围为3-15m。

5.一种如权利要求1-3任一项所述的三维影像处理方法，其特征在于步骤三包括以下子步骤：

3.1对感兴趣目标区域各个像素进行分层，不同的分层指定不同的景深值；

3.2按照各个分层的景深对感兴趣目标区域的像素进行逐像素的精细偏移。

6.一种如权利要求1-3任一项所述的三维影像处理方法，其特征在于，步骤一中感兴趣目标区域来自嵌入图像，步骤一具体为：获取原始二维图像以及嵌入图像，从原始二维图像提取一个或多个目标区域作为非感兴趣目标区域，从嵌入图像提取一个或多个目标区域作为感兴趣目标区域，将嵌入图像中的感兴趣目标区域嵌入原始二维图像中，作为第一视图。

7.一种如权利要求6所述的三维影像处理方法，其特征在于：步骤四后，当三维影像的前后两帧中仅感兴趣目标区域的景深发生变化时，执行以下步骤：

5.1 对前一帧的感兴趣目标区域进行缩放；

5.2对缩放后的感兴趣目标区域进行偏移，获取感兴趣目标区域内各像素点的偏移量，当前帧感兴趣目标区域内当前像素的偏移量为： D_aft = D_bef /（(Z_bef/ Z_aft)* (f_bef/f_aft)） 

其中， D_bef为前一帧感兴趣目标区域对应像素的偏移量， f_aft为当前帧感兴趣目标区域当前像素的景深， f_bef为前一帧感兴趣目标区域对应像素的景深，Z_bef/ Z_aft为前一帧和当前帧感兴趣目标区域成像大小的比值；

5.3利用缩放后的感兴趣目标区域代替前一帧第一视图中的感兴趣区域，生成当前帧第一视图，利用缩放并偏移后的感兴趣目标区域代替前一帧第二视图中的感兴趣区域，生成当前帧第二视图。

Images